DeepMindのFunSearchはコードLLMを新たな数学へと導いた——キャップ集合問題を含む

2023年12月、Google DeepMindはNature誌上で、自社ツールFunSearchが大規模言語モデルを用いて有名な未解決問題を解いたと報告した。LLMが長年の科学的難問への解を発見し、これまで存在しなかった検証可能な新情報を生み出したのは初めてのことだった。共著者のPushmeet Kohli氏は「これは訓練データの中にはなく、そもそも知られていなかった」と述べた。キャップ集合問題とは、3点が一直線を成さないような集合をどれだけ大きくできるかを問うもので、数学者たちはアプローチの仕方についてさえ一致しておらず、Terence Tao氏はかつてこれを「おそらく私の最も好きな未解決問題」と呼んだ。

手法はこうだ。研究者たちは問題をPythonで記述したが、解き方を指定する行は省いた。FunSearchは、コンピュータコードで微調整されたPaLM 2の一バージョンであるCodeyに空欄を埋めさせ、別のアルゴリズムがその出力を検査し採点する。最良の提案は、たとえ誤っていても保存され、モデルが再挑戦できるようフィードバックされる。Kohli氏は「多くは無意味なものになり、いくつかは筋の通ったものになり、ごく少数は真にひらめきに満ちたものになる」と語った。数百万件の提案と数十回の反復を経て、正しく、かつこれまで知られていなかった解を生成するコードが生まれた。

この設計はある限界から生まれた。DeepMindの以前のAlphaTensorとAlphaDevはAlphaZeroを基盤とし、行列積や日常的なアルゴリズムで記録を塗り替えたが、研究者のBernardino Romera-Paredes氏が言うように、それらは自分の領分に閉じ込められていた。FunSearchはコード、すなわち答えではなくレシピを出力するため、問題をまたいで汎用化でき、理解も容易である。

ビンパッキング問題で試したところ、FunSearchは人間が考案したものより高速なアプローチを見つけた。チームはその仕組みが完全には理解されていないことを率直に認めている。研究科学者のAlhussein Fawzi氏は「仮説はあるが、なぜこれが機能するのか正確には分かっていない」と述べた。

LLMに答えを求めるのではなく、プログラムを求め、自動検証器にゴミを捨てさせ、ひらめきに満ちた少数を残させる。

自動検証器が認識論を担う。誤った、あるいは無意味なプログラムは採点で排除されるため、LLMのハルシネーションは計算コスト以外の代償を生まない。

これまでの最良プログラムをプロンプトに再利用することで、その後の推測が方向づけられる。単発の答えではなく、コードに対する進化的なループである。

進歩は誰もが確認できる実行可能なプログラムであり、誰もが信頼しなければならない証明ではない。これにより、LLMの出力が科学的に受け入れられるものとなった。

レシピという形式は汎用化する。同じループが、設計を変えることなくキャップ集合問題からビンパッキングへと移行した。

検証は雄弁に勝る。でっち上げで有名なモデルも、機械が確認できるスコアが信じる役割を担えば、発見のエンジンになる。

キャップ集合の結果は2023年12月にNature誌に掲載され、FunSearchはさらに、データセンターからeコマースまで幅広く関連するビンパッキングに対して人間より高速なアプローチを生み出した。Tao氏はこれを「有望なパラダイム」であり、LLMを数学研究に取り入れるための「一つの可能な前進の道」と呼び、AlphaTensorとAlphaDevに続くDeepMindのAI発見の連続をさらに広げた。