FunSearch de DeepMind a amené un LLM de code vers de nouvelles mathématiques — y compris le problème des ensembles sans ligne

En décembre 2023, Google DeepMind a rapporté dans Nature que son outil FunSearch avait utilisé un grand modèle de langage pour résoudre un problème célèbre non résolu — la première fois qu'un LLM découvrait une solution à une énigme scientifique de longue date, produisant une information nouvelle et vérifiable qui n'existait pas auparavant. « Ce n'est pas dans les données d'entraînement — ce n'était même pas connu », a déclaré le coauteur Pushmeet Kohli. Le problème des ensembles sans ligne (cap set) demande quelle taille peut avoir un ensemble sans que trois points forment une ligne ; les mathématiciens ne s'accordent même pas sur la manière de l'aborder, et Terence Tao l'a un jour qualifié de « peut-être ma question ouverte préférée ».

La méthode : les chercheurs ont esquissé le problème en Python mais ont omis les lignes précisant comment le résoudre. FunSearch demande à Codey — une version de PaLM 2 affinée sur du code informatique — de remplir les blancs, tandis qu'un second algorithme vérifie et note ce qu'il produit. Les meilleures suggestions, même incorrectes, sont conservées et renvoyées au modèle pour qu'il réessaie : « Beaucoup seront absurdes, certaines seront sensées, et quelques-unes seront véritablement inspirées », a déclaré Kohli. Quelques millions de suggestions et quelques dizaines d'itérations ont produit un code générant une solution correcte, jusque-là inconnue.

La conception est née d'une limitation : les précédents AlphaTensor et AlphaDev de DeepMind, bâtis sur AlphaZero, avaient battu des records en multiplication matricielle et dans des algorithmes du quotidien, mais, comme l'a formulé le chercheur Bernardino Romera-Paredes, ils restaient cantonnés à leur domaine. FunSearch produit du code — une recette plutôt qu'une réponse — ce qui lui permet de se généraliser à différents problèmes et d'être plus facile à comprendre.

Testé sur le problème du bin packing, FunSearch a trouvé une approche plus rapide que celles conçues par des humains. L'équipe reconnaît franchement que le mécanisme n'est pas entièrement compris : « nous avons des hypothèses, mais nous ne savons pas exactement pourquoi cela fonctionne », a déclaré le chercheur Alhussein Fawzi.

Ne demandez pas de réponses au LLM — demandez-lui des programmes, puis laissez un vérificateur automatique écarter les déchets et garder les quelques inspirés

Un vérificateur automatique fait l'épistémologie : les programmes faux ou absurdes sont éliminés par la notation, si bien que les hallucinations du LLM ne coûtent que du calcul.

Recycler les meilleurs programmes obtenus jusque-là dans l'invite oriente les conjectures suivantes — une boucle évolutionnaire sur du code plutôt que des réponses en un seul coup.

Le progrès est un programme exécutable que chacun peut vérifier, non une preuve qu'il faut croire sur parole — ce qui a rendu la production d'un LLM scientifiquement acceptable.

La forme de recette se généralise : la même boucle est passée du problème des ensembles sans ligne au bin packing sans être repensée.

La vérification l'emporte sur l'éloquence : un modèle réputé pour inventer des choses devient un moteur de découverte quand un score vérifiable par machine fait office de croyance à votre place.

Le résultat sur les ensembles sans ligne a été publié dans Nature en décembre 2023, et FunSearch a également produit une approche du bin packing plus rapide que celles des humains, pertinente des centres de données au commerce en ligne. Tao l'a qualifié de « paradigme prometteur » et de « l'une des voies possibles » pour intégrer les LLM à la recherche mathématique, prolongeant la série de résultats trouvés par IA de DeepMind après AlphaTensor et AlphaDev.