Le DDN de Lei Yang a atteint l'ICLR 2025 en ne conservant que le plus proche parmi de nombreux échantillons

Les modèles génératifs dominants approximent une distribution avec une seule sortie par entrée, ce qui rend leur mécanique indirecte : débruitage itératif, entraînement adversarial ou conditionnement élaboré. Les réseaux de distribution discrète (DDN) de Lei Yang partent d'une position différente — les caractéristiques du réseau portent déjà une information distributionnelle, si bien qu'un réseau qui émet plusieurs points d'échantillonnage à la fois peut représenter une distribution plus directement, y compris continue.

Le DDN empile des couches de distribution discrète. À chaque couche, le réseau génère K sorties candidates, mais la perte n'est calculée que sur celle qui est la plus proche de l'échantillon de vérité terrain ; ce gagnant alimente la couche suivante, de sorte que la profondeur étend exponentiellement l'espace de sortie et que chaque couche affine l'estimation précédente. Un optimiseur Split-and-Prune évite les nœuds morts et le décalage de densité. À l'inférence, l'échantillonneur « choisir le plus proche » est remplacé par un choix aléatoire, ce qui génère de nouveaux échantillons et permet une génération conditionnelle zero-shot sans gradients — texte-vers-image via un modèle CLIP en boîte noire — ainsi qu'un latent discret 1D.

La validation externe a suivi rapidement : l'ICLR 2025 a accepté l'article, les relectures le qualifiant de « novateur et élégant » et de « méthode entièrement nouvelle, très différente de tous les modèles génératifs existants », et les expériences ont porté sur CIFAR-10 et FFHQ. Le modèle a été construit en moins de trois mois, principalement par une seule personne, et la page de lancement avec le code, les démos et une démo de coloriage interactive a atteint la 2e place du classement quotidien de Hacker News.

Émettre de nombreux échantillons ; propager le gagnant le plus proche à la couche suivante

N'entraîner que le plus proche parmi K candidats concentre chaque mise à jour sur la sortie qui compte, de sorte que le coût du gradient reste borné.

Propager le gagnant à la couche suivante transforme la profondeur en affinage exponentiel : une précision du grossier au fin sans supervision supplémentaire.

Remplacer l'échantillonneur guidé par un choix aléatoire à l'inférence offre une génération conditionnelle zero-shot sans gradient, une capacité pour laquelle d'autres modèles nécessitent une mécanique distincte.

La validation a été externe et peu coûteuse : relecture par les pairs à l'ICLR, code et démos publics, et un lancement dans le top 2 de Hacker News plutôt que seulement les benchmarks de l'auteur.

Plutôt que de forcer une seule sortie du réseau à être parfaite, laisser le modèle proposer de nombreux candidats, conserver le meilleur et itérer : la sélection transforme des estimations peu coûteuses en résultats précis.

Le DDN a été publié à l'ICLR 2025, et la page de lancement de l'auteur a atteint la 2e place du classement quotidien de Hacker News. Le premier article citant, DDCM, a déjà emprunté la construction de latent discret 1D du DDN pour les modèles de diffusion, et la feuille de route de Yang couvre la modélisation linguistique sans tokenizer (en combinant DDN avec GPT), les politiques robotiques et l'imagerie conditionnelle. L'auteur reconnaît que les expériences étaient préliminaires — moins de trois mois de développement, principalement seul — et que le DDN produit encore des échantillons flous lorsqu'on lui demande de couvrir une distribution au-delà de sa capacité ; le passage à l'échelle de la complexité d'ImageNet reste ouvert.