Lei Yang 的 DDN 透過保留眾多樣本中最接近者登上 ICLR 2025

主流生成模型以每個輸入對應一個輸出的方式近似分布，這使其機制顯得間接：迭代去噪、對抗訓練或繁複的條件化。Lei Yang 的離散分布網路（Discrete Distribution Networks，DDN）從不同的立場出發——網路特徵本身已攜帶分布資訊，因此一次輸出多個樣本點的網路或許能更直接地表示分布，包括連續分布。

DDN 堆疊離散分布層。在每一層，網路生成 K 個候選輸出，但損失僅計算在最接近真實樣本的那一個上；該勝出者饋入下一層，因此深度使輸出空間呈指數擴張，每一層再精煉前一層的猜測。Split-and-Prune 最佳化器可防止死節點與密度偏移。推論時，「挑選最接近者」的取樣器被隨機選擇取代，因而能生成新樣本，並在無梯度的情況下實現零樣本條件生成——透過黑箱 CLIP 模型進行文字轉圖像——外加一維離散潛在變數。

外部驗證隨即到來：ICLR 2025 接受了該論文，審稿意見稱其「新穎且優雅」以及「一種全新的方法，與任何現有生成模型都非常不同」，實驗涵蓋 CIFAR-10 與 FFHQ。該模型在不到三個月內建成，主要由一人完成，附有程式碼、示範與互動著色示範的發布頁面在 Hacker News 每日排名中達到第 2 名。

輸出許多樣本；將最接近的勝出者饋入下一層

只訓練 K 個候選中最接近者，使每次更新都集中於真正重要的輸出，因此梯度成本保持有界。

將勝出者饋入下一層，使深度轉化為指數式精煉：無需額外監督即可由粗到細提升準確度。

推論時將引導式取樣器換成隨機選擇，即可在無梯度的情況下實現零樣本條件生成，這是其他模型需要另行設計機制才能具備的能力。

驗證來自外部且成本低廉：ICLR 同儕審查、公開程式碼與示範，以及在 Hacker News 發布中進入前 2 名，而非僅有作者自己的基準測試。

與其強迫單一網路輸出做到完美，不如讓模型提出許多候選、保留最佳者並反覆迭代：選擇能把廉價的猜測轉化為精確的結果。

DDN 發表於 ICLR 2025，作者的發布頁面在 Hacker News 每日排名中達到第 2 名。首篇引用論文 DDCM 已借用 DDN 的一維離散潛在變數構造用於擴散模型，而 Yang 的藍圖涵蓋無分詞器的語言建模（將 DDN 與 GPT 結合）、機器人策略與條件圖像生成。作者坦承實驗尚屬初步——開發不到三個月，且多為獨自完成——而當要求 DDN 涵蓋超出其容量的分布時，仍會產生模糊樣本；擴展至 ImageNet 級複雜度仍是未解問題。