A DDN de Lei Yang chegou à ICLR 2025 mantendo o mais próximo entre muitas amostras

Os modelos generativos predominantes aproximam uma distribuição com uma saída por entrada, o que torna seu maquinário indireto: desruído iterativo, treinamento adversarial ou condicionamento elaborado. As Redes de Distribuição Discreta (DDN) de Lei Yang partem de uma posição diferente — as características da rede já carregam informação distribucional, então uma rede que emite múltiplos pontos de amostra de uma vez pode representar uma distribuição mais diretamente, incluindo as contínuas.

A DDN empilha Camadas de Distribuição Discreta. Em cada camada a rede gera K saídas candidatas, mas a perda é calculada apenas sobre a que está mais próxima da amostra de verdade fundamental; essa vencedora alimenta a próxima camada, de modo que a profundidade expande o espaço de saída exponencialmente e cada camada refina o palpite anterior. Um otimizador Split-and-Prune evita nós mortos e desvio de densidade. Na inferência, o amostrador de 'escolher a mais próxima' é substituído por escolha aleatória, o que gera novas amostras e proporciona geração condicional zero-shot sem gradientes — texto para imagem via um modelo CLIP de caixa preta — além de um latente discreto 1D.

A validação externa veio logo em seguida: a ICLR 2025 aceitou o artigo com avaliações que o chamaram de 'novo e elegante' e 'um método totalmente novo, muito diferente de qualquer um dos modelos generativos existentes', e os experimentos abrangeram CIFAR-10 e FFHQ. O modelo foi construído em menos de três meses, majoritariamente por uma pessoa, e a página de lançamento com código, demonstrações e uma demonstração interativa de coloração alcançou o #2 nos rankings diários do Hacker News.

Emita muitas amostras; alimente a vencedora mais próxima para a próxima camada

Treinar apenas a mais próxima entre K candidatas concentra cada atualização na saída que importa, de modo que o custo do gradiente permanece limitado.

Alimentar a vencedora para a próxima camada transforma a profundidade em refinamento exponencial: precisão do grosso ao fino sem supervisão extra.

Trocar o amostrador guiado por escolha aleatória na inferência entrega geração condicional zero-shot sem gradiente, uma capacidade para a qual outros modelos precisam de maquinário separado.

A validação foi externa e barata: revisão por pares da ICLR, código e demonstrações públicos, e um lançamento no top-2 do Hacker News, em vez de apenas os próprios benchmarks do autor.

Em vez de forçar uma única saída da rede a ser perfeita, deixe o modelo propor muitos candidatos, mantenha o melhor e itere: a seleção transforma palpites baratos em resultados precisos.

A DDN foi publicada na ICLR 2025, e a página de lançamento do autor alcançou o #2 nos rankings diários do Hacker News. O primeiro artigo a citá-la, o DDCM, já tomou emprestada a construção de latente discreto 1D da DDN para modelos de difusão, e o roteiro de Yang abrange modelagem de linguagem sem tokenizador (combinando DDN com GPT), políticas de robótica e imageamento condicional. O autor admite que os experimentos foram preliminares — menos de três meses de desenvolvimento, majoritariamente sozinho — e que a DDN ainda produz amostras borradas quando solicitada a cobrir uma distribuição além de sua capacidade; escalar para a complexidade do nível do ImageNet permanece em aberto.