Lei Yang의 DDN, 많은 샘플 중 가장 가까운 것을 유지하여 ICLR 2025에 도달하다

주류 생성 모델은 입력당 하나의 출력으로 분포를 근사하기 때문에 그 구조가 간접적이다: 반복적 노이즈 제거, 적대적 훈련, 또는 정교한 조건화 등이다. Lei Yang의 이산 분포 네트워크(DDN)는 다른 위치에서 출발한다 — 네트워크 특징은 이미 분포 정보를 담고 있으므로, 한 번에 여러 샘플 포인트를 내보내는 네트워크는 연속 분포를 포함한 분포를 더 직접적으로 표현할 수 있다.

DDN은 이산 분포 레이어를 쌓는다. 각 레이어에서 네트워크는 K개의 후보 출력을 생성하지만, 손실은 정답 샘플에 가장 가까운 것에만 계산된다; 그 승자가 다음 레이어로 전달되므로 깊이는 출력 공간을 기하급수적으로 확장하고 각 레이어는 이전 추측을 정교화한다. 분할 및 가지치기 최적화기는 죽은 노드와 밀도 이동을 방지한다. 추론 시에는 '가장 가까운 것 선택' 샘플러가 무작위 선택으로 대체되어, 새로운 샘플을 생성하고 기울기 없이 제로샷 조건부 생성을 가능하게 한다 — 블랙박스 CLIP 모델을 통한 텍스트-투-이미지 — 그리고 1D 이산 잠재 변수를 제공한다.

외부 검증은 곧 뒤따랐다: ICLR 2025는 이 논문을 '참신하고 우아하다'며 '기존 생성 모델과 매우 다른 완전히 새로운 방법'이라고 평가한 리뷰와 함께 채택했고, 실험은 CIFAR-10과 FFHQ를 다루었다. 이 모델은 주로 한 사람에 의해 3개월 미만으로 구축되었으며, 코드, 데모, 대화형 채색 데모가 포함된 출시 페이지는 Hacker News 일간 순위에서 2위에 올랐다.

많은 샘플을 내보내고; 가장 가까운 승자를 다음 레이어로 전달한다

K개 후보 중 가장 가까운 것만 훈련하면 모든 업데이트가 중요한 출력에 집중되므로 기울기 비용이 제한적으로 유지된다.

승자를 다음 레이어로 전달하면 깊이가 기하급수적 정교화로 바뀐다: 추가 감독 없이 거친 것에서 세밀한 것으로의 정확도.

추론 시 안내된 샘플러를 무작위 선택으로 교체하면 기울기 없이 제로샷 조건부 생성을 제공하는데, 이는 다른 모델들이 별도의 구조를 필요로 하는 능력이다.

검증은 외부적이고 저렴했다: 저자 자신의 벤치마크만이 아니라 ICLR 동료 심사, 공개 코드와 데모, 그리고 Hacker News 출시 2위였다.

하나의 네트워크 출력이 완벽하도록 강제하는 대신, 모델이 많은 후보를 제안하고 최선을 유지하며 반복하게 하라: 선택이 저렴한 추측을 정밀한 결과로 바꾼다.

DDN은 ICLR 2025에 게재되었고, 저자의 출시 페이지는 Hacker News 일간 순위에서 2위에 올랐다. 첫 인용 논문인 DDCM은 이미 확산 모델을 위해 DDN의 1D 이산 잠재 구성를 차용했으며, Yang의 로드맵은 토크나이저 없는 언어 모델링(DDN과 GPT 결합), 로봇 정책, 조건부 이미징을 다룬다. 저자는 실험이 예비적이었음을 인정한다 — 3개월 미만의 개발, 주로 혼자 — 그리고 DDN이 용량을 넘어서는 분포를 다루도록 요청받을 때 여전히 흐릿한 샘플을 생성하며, ImageNet 수준의 복잡성으로 확장하는 것은 여전히 미해결 과제로 남아 있다.