Lei Yang的DDN通过保留众多样本中最接近的一个达到ICLR 2025

主流生成模型用每个输入对应一个输出来近似分布，这导致其机制间接：迭代去噪、对抗训练或复杂条件设置。Lei Yang的离散分布网络（DDN）从不同立场出发——网络特征本身已携带分布信息，因此同时输出多个样本点的网络可能更直接地表示分布，包括连续分布。

DDN堆叠离散分布层。每层网络生成K个候选输出，但损失仅在与真值样本最接近的那个输出上计算；该胜者馈入下一层，因此深度指数级扩展输出空间，每层细化前一层猜测。分裂与剪枝优化器防止死节点和密度偏移。推理时，“选最近”采样器替换为随机选择，生成新样本，无需梯度即可实现零样本条件生成——通过黑盒CLIP模型的文本到图像——加上一维离散潜变量。

外部验证迅速跟进：ICLR 2025接收该论文，评审称其“新颖优雅”和“全新方法，不同于任何现有生成模型”，实验覆盖CIFAR-10和FFHQ。模型在不到三个月内完成，主要由一人构建，发布页面含代码、演示和交互式配色演示，在Hacker News日榜上达到第2。

输出多个样本；将最接近的胜者馈入下一层

仅训练K个候选中最近的一个，使每次更新专注于重要输出，梯度成本保持有界。

将胜者馈入下一层，使深度转为指数级细化：无需额外监督实现粗到精的精度。

推理时将引导采样器替换为随机选择，实现无梯度的零样本条件生成，这是其他模型需要单独机制的能力。

验证外部且低成本：ICLR同行评审、公开代码和演示，以及Hacker News顶级发布，而非仅作者自己的基准。

不要强迫单一网络输出完美，让模型提出多个候选，保留最佳并迭代：选择将廉价猜测转化为精确结果。

DDN在ICLR 2025发表，作者发布页面在Hacker News日榜上达到第2。首篇引用论文DDCM已借鉴DDN的一维离散潜变量构造用于扩散模型，Yang的路线图涵盖无分词器语言建模（DDN与GPT结合）、机器人策略和条件成像。作者承认实验初步——不到三个月开发，主要由一人完成——且DDN在要求覆盖超其容量分布时仍产生模糊样本；扩展到ImageNet级复杂度仍待解决。