DeepMinds FunSearch brachte ein Code-LLM zu neuer Mathematik – inklusive Cap-Set-Ergebnis

Im Dezember 2023 berichtete Google DeepMind in Nature, dass sein Werkzeug FunSearch ein großes Sprachmodell genutzt hatte, um ein berühmtes ungelöstes Problem zu knacken – das erste Mal, dass ein LLM eine Lösung für ein lange bestehendes wissenschaftliches Rätsel entdeckte und dabei verifizierbare neue Informationen erzeugte, die zuvor nicht existierten. „Es steht nicht in den Trainingsdaten – es war nicht einmal bekannt“, sagte Mitautor Pushmeet Kohli. Das Cap-Set-Problem fragt, wie groß eine Menge sein kann, in der keine drei Punkte eine Gerade bilden; Mathematiker sind sich nicht einmal einig, wie man es angehen soll, und Terence Tao nannte es einst „vielleicht meine Lieblingsfrage, die offen ist“.

Die Methode: Die Forscher skizzierten das Problem in Python, ließen aber die Zeilen weg, die angaben, wie es zu lösen sei. FunSearch bringt Codey – eine auf Computercode feinabgestimmte Version von PaLM 2 – dazu, die Lücken zu füllen, während ein zweiter Algorithmus prüft und bewertet, was er produziert. Die besten Vorschläge, selbst falsche, werden gespeichert und zurückgegeben, damit das Modell es erneut versuchen kann: „Viele werden unsinnig sein, einige werden vernünftig sein, und wenige werden wahrhaft inspiriert sein“, sagte Kohli. Ein paar Millionen Vorschläge und ein paar Dutzend Iterationen ergaben Code, der eine korrekte, zuvor unbekannte Lösung erzeugte.

Das Design entstand aus einer Einschränkung: DeepMinds frühere AlphaTensor und AlphaDev, auf AlphaZero aufgebaut, hatten Rekorde bei Matrixmultiplikation und Alltagsalgorithmen gebrochen, aber, wie der Forscher Bernardino Romera-Paredes es ausdrückte, sie blieben in ihren Bahnen. FunSearch gibt Code aus – ein Rezept statt einer Antwort –, sodass es über Probleme hinweg generalisiert und leichter zu verstehen ist.

Getestet am Bin-Packing-Problem, fand FunSearch einen Ansatz, der schneller war als von Menschen erdachte. Das Team gibt offen zu, dass der Mechanismus nicht vollständig verstanden ist: „Wir haben Hypothesen, aber wir wissen nicht genau, warum das funktioniert“, sagte der Forschungswissenschaftler Alhussein Fawzi.

Bitten Sie das LLM nicht um Antworten – bitten Sie es um Programme, und lassen Sie dann einen automatischen Verifier den Müll wegwerfen und die inspirierten wenigen behalten

Ein automatischer Verifier übernimmt die Erkenntnistheorie: Falsche oder unsinnige Programme werden aussortiert, sodass die Halluzinationen des LLM nichts außer Rechenzeit kosten.

Das Recyceln der bisher besten Programme in den Prompt lenkt spätere Vermutungen – eine evolutionäre Schleife über Code statt Einzelantworten.

Der Fortschritt ist ein ausführbares Programm, das jeder prüfen kann, kein Beweis, dem jeder vertrauen muss – was die Ausgabe eines LLM wissenschaftlich akzeptabel machte.

Die Rezeptform generalisiert: Dieselbe Schleife ging vom Cap-Set-Problem zum Bin-Packing über, ohne neu entworfen zu werden.

Verifikation schlägt Eloquenz: Ein Modell, das berühmt dafür ist, Dinge zu erfinden, wird zu einer Entdeckungsmaschine, wenn ein maschinell prüfbarer Score das Glauben für Sie übernimmt.

Das Cap-Set-Ergebnis wurde im Dezember 2023 in Nature veröffentlicht, und FunSearch lieferte auch einen im Vergleich zu menschlichen Ansätzen schnelleren Ansatz für Bin-Packing, der von Rechenzentren bis zum E-Commerce relevant ist. Tao nannte es „ein vielversprechendes Paradigma“ und „einen möglichen Weg nach vorn“, um LLMs in die mathematische Forschung einzubeziehen, und setzte damit DeepMinds Serie von KI-gefundenen Ergebnissen nach AlphaTensor und AlphaDev fort.