En diciembre de 2023, Google DeepMind informó en Nature que su herramienta FunSearch había utilizado un modelo de lenguaje grande para resolver un famoso problema sin solución: la primera vez que un LLM descubría una solución a un enigma científico de larga data, produciendo información nueva y verificable que no existía previamente. «No está en los datos de entrenamiento; ni siquiera se conocía», dijo el coautor Pushmeet Kohli. El problema del conjunto cap pregunta cuán grande puede ser un conjunto sin que tres puntos formen una línea; los matemáticos ni siquiera coinciden en cómo abordarlo, y Terence Tao lo calificó una vez como «quizás mi pregunta abierta favorita».
El método: los investigadores esbozaron el problema en Python pero omitieron las líneas que especificaban cómo resolverlo. FunSearch hace que Codey —una versión de PaLM 2 ajustada con código informático— rellene los espacios en blanco, mientras que un segundo algoritmo comprueba y puntúa lo que produce. Las mejores sugerencias, incluso las incorrectas, se guardan y se devuelven para que el modelo pueda intentarlo de nuevo: «Muchas serán absurdas, algunas serán sensatas y unas pocas serán verdaderamente inspiradas», dijo Kohli. Un par de millones de sugerencias y unas pocas docenas de iteraciones produjeron código que generaba una solución correcta y previamente desconocida.
El diseño surgió de una limitación: los anteriores AlphaTensor y AlphaDev de DeepMind, construidos sobre AlphaZero, habían batido récords en multiplicación de matrices y algoritmos cotidianos, pero, como lo expresó el investigador Bernardino Romera-Paredes, estaban encasillados en su ámbito. FunSearch produce código —una receta en lugar de una respuesta—, por lo que se generaliza entre problemas y es más fácil de entender.
Probado en el problema del empaquetado de contenedores (bin packing), FunSearch encontró un enfoque más rápido que los ideados por humanos. El equipo reconoce con franqueza que el mecanismo no se comprende del todo: «tenemos hipótesis, pero no sabemos exactamente por qué funciona esto», dijo el científico investigador Alhussein Fawzi.
No le pidas respuestas al LLM: pídele programas, y luego deja que un verificador automático descarte la basura y conserve las pocas inspiradas.
Un verificador automático se encarga de la epistemología: los programas incorrectos o absurdos se descartan por puntuación, de modo que las alucinaciones del LLM no cuestan más que cómputo.
Reciclar en la indicación los mejores programas obtenidos hasta el momento orienta las conjeturas posteriores: un bucle evolutivo sobre código en lugar de respuestas de un solo intento.
El progreso es un programa ejecutable que cualquiera puede comprobar, no una prueba que alguien deba creer, lo que hizo que la producción de un LLM fuera científicamente aceptable.
La forma de receta se generaliza: el mismo bucle pasó del problema del conjunto cap al empaquetado de contenedores sin rediseño.
La verificación supera a la elocuencia: un modelo famoso por inventar cosas se convierte en un motor de descubrimiento cuando una puntuación comprobable por máquina se encarga de creer por ti.
El resultado sobre el conjunto cap se publicó en Nature en diciembre de 2023, y FunSearch también produjo un enfoque más rápido que el humano para el empaquetado de contenedores, relevante desde los centros de datos hasta el comercio electrónico. Tao lo calificó como «un paradigma prometedor» y «una posible vía a seguir» para incorporar los LLM a la investigación matemática, extendiendo la racha de resultados encontrados por IA de DeepMind tras AlphaTensor y AlphaDev.
CONSULTA LAS PRUEBAS
Las fuentes
- Google DeepMind used a large language model to solve an unsolved math problem MIT Technology Review · technologyreview.com ·