Lei YangのDDNは、多数のサンプルのうち最も近いものを保持することでICLR 2025に到達した

主流の生成モデルは、入力ごとに1つの出力で分布を近似するため、その仕組みは間接的になる。反復的なノイズ除去、敵対的訓練、あるいは入念な条件付けである。Lei YangのDiscrete Distribution Networks（DDN）は異なる立場から出発する。ネットワークの特徴量はすでに分布の情報を担っているため、複数のサンプル点を一度に出力するネットワークは、連続的なものを含む分布をより直接的に表現できる可能性がある。

DDNはDiscrete Distribution Layerを積み重ねる。各層でネットワークはK個の候補出力を生成するが、損失は正解サンプルに最も近いものだけで計算される。その勝者が次の層へと受け渡され、深さによって出力空間が指数関数的に広がり、各層が前の推測を洗練させる。Split-and-Pruneオプティマイザがデッドノードと密度の偏りを防ぐ。推論時には「最も近いものを選ぶ」サンプラーがランダム選択に置き換えられ、これにより新しいサンプルが生成され、勾配なしのゼロショット条件付き生成が可能になる。黒箱のCLIPモデルによるテキストから画像への生成に加え、1次元の離散潜在表現も得られる。

外部からの検証はすぐに続いた。ICLR 2025はこの論文を採択し、査読者は「新規かつエレガント」「既存のどの生成モデルとも大きく異なる全く新しい手法」と評し、実験はCIFAR-10とFFHQを対象とした。モデルは主に1人によって3か月足らずで構築され、コード、デモ、インタラクティブな塗り絵デモを備えた公開ページはHacker Newsの日次ランキングで2位に達した。

多数のサンプルを出力し、最も近い勝者を次の層へフィードする

K個の候補のうち最も近いものだけを訓練することで、すべての更新が重要な出力に集中し、勾配のコストが有界に保たれる。

勝者を次の層へフィードすることで、深さが指数関数的な洗練へと変わる。追加の教師なしで、粗から細への精度が得られる。

推論時にガイド付きサンプラーをランダム選択に置き換えることで、勾配なしのゼロショット条件付き生成が実現する。これは他のモデルでは別個の仕組みを必要とする能力である。

検証は外部かつ低コストだった。ICLRの査読、公開コードとデモ、そして著者自身のベンチマークだけでなくHacker Newsでトップ2に入るローンチである。

1つのネットワーク出力を完璧にしようと強いるのではなく、モデルに多数の候補を提案させ、最良のものを保持し、反復させる。選択によって、安価な推測が精密な結果へと変わる。

DDNはICLR 2025で発表され、著者の公開ページはHacker Newsの日次ランキングで2位に達した。最初の引用論文であるDDCMはすでに、拡散モデルのためにDDNの1次元離散潜在表現の構成を借用しており、Yangのロードマップはトークナイザ不要の言語モデリング（DDNとGPTの組み合わせ）、ロボティクスのポリシー、条件付き画像生成をカバーしている。著者は、実験が予備的なものであったこと（3か月足らずの開発で、主に1人）を認めており、DDNは能力を超えた分布をカバーしようとすると依然としてぼやけたサンプルを生成すること、ImageNet規模の複雑さへのスケーリングは未解決のままであることを述べている。