La DDN de Lei Yang llegó a ICLR 2025 quedándose con la más cercana de muchas muestras

Los modelos generativos convencionales aproximan una distribución con una salida por entrada, lo que hace que su maquinaria sea indirecta: eliminación de ruido iterativa, entrenamiento adversario o condicionamiento elaborado. Las Redes de Distribución Discreta (DDN) de Lei Yang parten de una posición distinta: las características de la red ya portan información distribucional, así que una red que emite múltiples puntos de muestra a la vez puede representar una distribución de forma más directa, incluidas las continuas.

La DDN apila Capas de Distribución Discreta. En cada capa la red genera K salidas candidatas, pero la pérdida se calcula solo sobre la que está más cerca de la muestra de referencia; esa ganadora alimenta la siguiente capa, de modo que la profundidad expande el espacio de salida de forma exponencial y cada capa refina la conjetura anterior. Un optimizador de Dividir y Podar evita nodos muertos y el desplazamiento de densidad. En inferencia, el muestreador de «elegir la más cercana» se sustituye por una elección aleatoria, que genera nuevas muestras y permite la generación condicional de cero disparos sin gradientes —texto a imagen mediante un modelo CLIP de caja negra— además de un latente discreto unidimensional.

La validación externa llegó pronto: ICLR 2025 aceptó el artículo con reseñas que lo calificaron de «novedoso y elegante» y «un método completamente nuevo, muy diferente de cualquiera de los modelos generativos existentes», y los experimentos abarcaron CIFAR-10 y FFHQ. El modelo se construyó en menos de tres meses, en su mayor parte por una sola persona, y la página de lanzamiento con código, demos y una demo interactiva de coloreado alcanzó el puesto n.º 2 en los rankings diarios de Hacker News.

Emitir muchas muestras; propagar la ganadora más cercana a la siguiente capa

Entrenar solo la más cercana de K candidatas concentra cada actualización en la salida que importa, de modo que el costo del gradiente se mantiene acotado.

Propagar la ganadora a la siguiente capa convierte la profundidad en un refinamiento exponencial: precisión de grueso a fino sin supervisión adicional.

Sustituir el muestreador guiado por una elección aleatoria en inferencia ofrece generación condicional de cero disparos sin gradiente, una capacidad para la que otros modelos necesitan maquinaria aparte.

La validación fue externa y barata: revisión por pares de ICLR, código y demos públicos, y un lanzamiento en el top 2 de Hacker News en lugar de solo los benchmarks del propio autor.

En lugar de forzar a que una única salida de la red sea perfecta, deja que el modelo proponga muchas candidatas, conserva la mejor e itera: la selección convierte conjeturas baratas en resultados precisos.

La DDN se publicó en ICLR 2025, y la página de lanzamiento del autor alcanzó el puesto n.º 2 en los rankings diarios de Hacker News. El primer artículo que la cita, DDCM, ya ha tomado prestada la construcción de latente discreto unidimensional de la DDN para modelos de difusión, y la hoja de ruta de Yang abarca el modelado de lenguaje sin tokenizador (combinando DDN con GPT), políticas de robótica e imagen condicional. El autor admite que los experimentos fueron preliminares —menos de tres meses de desarrollo, en su mayor parte en solitario— y que la DDN aún produce muestras borrosas cuando se le pide cubrir una distribución más allá de su capacidad; escalar a la complejidad del nivel de ImageNet sigue pendiente.