O FunSearch do DeepMind convenceu um LLM de código a fazer nova matemática — incluindo o problema do conjunto cap

Em dezembro de 2023, o Google DeepMind relatou na Nature que sua ferramenta FunSearch havia usado um grande modelo de linguagem para resolver um famoso problema não solucionado — a primeira vez que um LLM descobriu uma solução para um enigma científico de longa data, produzindo informação nova e verificável que não existia antes. "Não está nos dados de treinamento — nem sequer era conhecido", disse o coautor Pushmeet Kohli. O problema do conjunto cap pergunta quão grande pode ser um conjunto sem que três pontos formem uma reta; os matemáticos nem sequer concordam sobre como abordá-lo, e Terence Tao certa vez o chamou de "talvez minha pergunta aberta favorita".

O método: os pesquisadores esboçaram o problema em Python, mas deixaram de fora as linhas que especificam como resolvê-lo. O FunSearch faz o Codey — uma versão do PaLM 2 ajustada em código de computador — preencher as lacunas, enquanto um segundo algoritmo verifica e pontua o que ele produz. As melhores sugestões, mesmo as incorretas, são salvas e devolvidas para que o modelo possa tentar de novo: "Muitas serão sem sentido, algumas serão sensatas e algumas serão verdadeiramente inspiradas", disse Kohli. Cerca de dois milhões de sugestões e algumas dezenas de iterações produziram código que gera uma solução correta e antes desconhecida.

O design nasceu de uma limitação: os anteriores AlphaTensor e AlphaDev do DeepMind, construídos sobre o AlphaZero, haviam batido recordes em multiplicação de matrizes e algoritmos cotidianos, mas, como disse o pesquisador Bernardino Romera-Paredes, estavam presos em suas próprias áreas. O FunSearch produz código — uma receita em vez de uma resposta —, de modo que se generaliza entre problemas e é mais fácil de entender.

Testado no problema de empacotamento (bin packing), o FunSearch encontrou uma abordagem mais rápida que as concebidas por humanos. A equipe é franca ao dizer que o mecanismo não é totalmente compreendido: "temos hipóteses, mas não sabemos exatamente por que isso funciona", disse o cientista pesquisador Alhussein Fawzi.

Não peça respostas ao LLM — peça programas, depois deixe um verificador automático descartar o lixo e manter as poucas inspiradas

Um verificador automático faz a epistemologia: programas errados ou sem sentido são eliminados pela pontuação, de modo que as alucinações do LLM custam apenas poder computacional.

Reciclar os melhores programas até o momento no prompt orienta as tentativas seguintes — um ciclo evolutivo sobre código em vez de respostas de tiro único.

O progresso é um programa executável que qualquer um pode verificar, não uma prova em que se deve confiar — o que tornou a saída de um LLM cientificamente aceitável.

A forma de receita se generaliza: o mesmo ciclo passou do problema do conjunto cap ao empacotamento sem redesenho.

A verificação vence a eloquência: um modelo famoso por inventar coisas torna-se um motor de descoberta quando uma pontuação verificável por máquina faz o papel de acreditar por você.

O resultado sobre conjuntos cap foi publicado na Nature em dezembro de 2023, e o FunSearch também produziu uma abordagem mais rápida que a humana para o empacotamento, relevante de data centers ao comércio eletrônico. Tao o chamou de "um paradigma promissor" e "uma possível maneira de avançar" para incorporar LLMs à pesquisa matemática, ampliando a sequência de resultados encontrados por IA do DeepMind após AlphaTensor e AlphaDev.