DeepMind 的 FunSearch 引导程式碼 LLM 踏入新數學領域——包括帽集問題

2023 年 12 月，Google DeepMind 在《Nature》上報告，其工具 FunSearch 運用大型語言模型破解了一個著名的未解問題——這是 LLM 首次發現長期存在科學謎題的解答，產生了先前不存在、且可驗證的新資訊。共同作者 Pushmeet Kohli 表示：「它不在訓練資料裡——它甚至原本不為人知。」帽集問題問的是：一個集合最大能有多大，使得其中沒有三點共線；數學家甚至對如何著手並無共識，Terence Tao 曾稱它「或許是我最喜歡的未解問題」。

方法：研究人員用 Python 勾勒出問題，但略去說明如何求解的程式行。FunSearch 讓 Codey——一個在電腦程式碼上微調過的 PaLM 2 版本——填補空白，同時由第二個演算法檢查並評分其產出。最佳的建議，即使不正確，也會被保存並回饋，讓模型再試一次：「許多會是無意義的，有些會是合理的，少數會真正富有啟發，」Kohli 說。經過約兩百萬次建議與數十次迭代，產生的程式碼得出了一個正確、先前未知的解答。

這項設計源自一個限制：DeepMind 先前的 AlphaTensor 與 AlphaDev 建構於 AlphaZero 之上，已在矩陣乘法與日常演算法上打破紀錄，但正如研究員 Bernardino Romera-Paredes 所言，它們被困在自己的領域裡。FunSearch 輸出的是程式碼——一份配方而非一個答案——因此能跨問題通用，也更容易理解。

在裝箱問題上測試時，FunSearch 找到了比人類設計的方法更快的做法。團隊坦承其機制尚未被完全理解：「我們有假設，但我們不完全知道為什麼這有效，」研究科學家 Alhussein Fawzi 說。

別向 LLM 要答案——向它要程式，然後讓自動驗證器丟棄垃圾、留下少數富有啟發者

自動驗證器承擔了認識論的工作：錯誤或無意義的程式會被評分淘汰，因此 LLM 的幻覺除了算力之外不付出任何代價。

將迄今最佳的程式回收進提示中，可引導後續的猜測——這是對程式碼而非單次答案的演化迴圈。

進展是一段任何人都能檢查的可執行程式，而非任何人都必須相信的證明——這使 LLM 的產出在科學上可被接受。

配方形式可通用：同一個迴圈從帽集問題移到裝箱問題，無需重新設計。

驗證勝於雄辯：一個以捏造聞名的模型，當由機器可檢查的評分代為相信時，便成了發現引擎。

帽集結果於 2023 年 12 月發表於《Nature》，FunSearch 也為裝箱問題產生了比人類更快的做法，這從資料中心到電子商務都有相關性。Tao 稱之為「一個有前景的範式」以及將 LLM 納入數學研究的「一條可能的前進道路」，延續了 DeepMind 在 AlphaTensor 與 AlphaDev 之後由 AI 發現結果的連勝紀錄。