Lei Yangs DDN erreichte die ICLR 2025, indem sie den nächstgelegenen von vielen Stichproben behielt

Mainstream-generative Modelle approximieren eine Verteilung mit einer Ausgabe pro Eingabe, was ihre Maschinerie indirekt macht: iterative Entrauschung, adversarisches Training oder aufwendige Konditionierung. Lei Yangs Discrete Distribution Networks (DDN) gehen von einer anderen Position aus – Netzwerkmerkmale tragen bereits Verteilungsinformationen, sodass ein Netzwerk, das mehrere Stichprobenpunkte auf einmal ausgibt, eine Verteilung möglicherweise direkter repräsentieren kann, einschließlich kontinuierlicher.

DDN stapelt Discrete Distribution Layers. In jeder Schicht erzeugt das Netzwerk K Kandidatenausgaben, aber der Verlust wird nur für diejenige berechnet, die der Ground-Truth-Stichprobe am nächsten liegt; dieser Gewinner speist die nächste Schicht, sodass die Tiefe den Ausgaberaum exponentiell erweitert und jede Schicht die vorherige Vermutung verfeinert. Ein Split-and-Prune-Optimierer verhindert tote Knoten und Dichteverschiebung. Bei der Inferenz wird der 'nächstgelegene auswählen'-Sampler durch zufällige Auswahl ersetzt, was neue Stichproben erzeugt und Zero-Shot-bedingte Generierung ohne Gradienten ermöglicht – Text-zu-Bild über ein Black-Box-CLIP-Modell – plus ein 1D-diskretes Latent.

Externe Validierung folgte schnell: Die ICLR 2025 nahm das Paper an, wobei Rezensionen es als 'neu und elegant' und 'eine ganz neue Methode, sehr verschieden von allen bestehenden generativen Modellen' bezeichneten, und die Experimente umfassten CIFAR-10 und FFHQ. Das Modell wurde in weniger als drei Monaten gebaut, größtenteils von einer Person, und die Startseite mit Code, Demos und einer interaktiven Färbe-Demo erreichte Platz 2 in den Tagesrankings von Hacker News.

Viele Stichproben ausgeben; den nächstgelegenen Gewinner an die nächste Schicht weiterleiten

Nur den nächstgelegenen von K Kandidaten zu trainieren, konzentriert jedes Update auf die Ausgabe, die zählt, sodass die Gradientenkosten begrenzt bleiben.

Den Gewinner an die nächste Schicht weiterzuleiten, verwandelt Tiefe in exponentielle Verfeinerung: Grob-zu-fein-Genauigkeit ohne zusätzliche Überwachung.

Den geführten Sampler bei der Inferenz durch zufällige Auswahl zu ersetzen, liefert Zero-Shot-bedingte Generierung ohne Gradient, eine Fähigkeit, für die andere Modelle separate Maschinerie benötigen.

Die Validierung war extern und günstig: ICLR-Peer-Review, öffentlicher Code und Demos sowie ein Hacker-News-Start auf Platz 2 statt nur der eigenen Benchmarks des Autors.

Statt eine Netzwerkausgabe perfekt erzwingen zu wollen, sollte das Modell viele Kandidaten vorschlagen, den besten behalten und iterieren: Auswahl verwandelt billige Vermutungen in präzise Ergebnisse.

DDN wurde auf der ICLR 2025 veröffentlicht, und die Startseite des Autors erreichte Platz 2 in den Tagesrankings von Hacker News. Das erste zitierende Paper, DDCM, hat bereits DDNs 1D-diskretes-Latent-Konstruktion für Diffusionsmodelle übernommen, und Yangs Roadmap umfasst tokenizer-freie Sprachmodellierung (Kombination von DDN mit GPT), Robotik-Policies und bedingte Bildgebung. Der Autor räumt ein, dass die Experimente vorläufig waren – weniger als drei Monate Entwicklung, größtenteils allein – und dass DDN noch unscharfe Stichproben erzeugt, wenn es eine Verteilung jenseits seiner Kapazität abdecken soll; die Skalierung auf ImageNet-Level-Komplexität bleibt offen.