DeepMind的FunSearch引导代码大语言模型进入新数学领域——包括cap set问题

2023年12月，Google DeepMind在《自然》杂志上报告称，其工具FunSearch利用大语言模型攻克了一个著名的未解问题——这是大语言模型首次发现一个长期存在的科学难题的解决方案，产出了此前并不存在的可验证的新信息。"它不在训练数据中——它甚至根本不为人所知，"共同作者Pushmeet Kohli说。cap set问题问的是：一个集合最多能有多大，使得其中没有三个点共线；数学家们甚至对如何着手研究它都意见不一，Terence Tao曾称它"也许是我最喜欢的开放问题"。

方法：研究人员用Python勾勒出问题，但省略了说明如何求解的那些代码行。FunSearch让Codey——一个在计算机代码上微调过的PaLM 2版本——来填空，同时由第二个算法检查并为其产出打分。最好的建议，即使是不正确的，也会被保存下来并反馈回去，让模型可以再试一次："许多会是无意义的，一些会是合理的，还有少数会真正富有灵感，"Kohli说。经过数百万条建议和几十次迭代，产出的代码生成了一个正确的、此前未知的解决方案。

这一设计源于一个局限：DeepMind早先的AlphaTensor和AlphaDev基于AlphaZero构建，曾在矩阵乘法和日常算法上打破纪录，但正如研究员Bernardino Romera-Paredes所说，它们被困在自己的领域里。FunSearch输出的是代码——一份配方而非一个答案——因此它能跨问题泛化，也更容易理解。

在装箱问题上测试时，FunSearch找到了一种比人类设计的方案更快的方法。团队坦承这一机制并未被完全理解："我们有假设，但我们并不确切知道它为什么有效，"研究科学家Alhussein Fawzi说。

不要向大语言模型要答案——向它要程序，然后让自动验证器扔掉垃圾，保留少数富有灵感的

自动验证器承担了认识论的职责：错误或无意义的程序会被打分淘汰，因此大语言模型的幻觉除了算力之外不付出任何代价。

把迄今为止最好的程序回收进提示词，会引导后续的猜测——这是在代码上的进化循环，而非单次给出的答案。

进展是一个任何人都能检查的可运行程序，而不是一个任何人都必须信任的证明——这使大语言模型的产出在科学上可以被接受。

配方形式可以泛化：同一个循环从cap set问题迁移到装箱问题，无需重新设计。

验证胜过雄辩：一个以编造内容著称的模型，当机器可检查的分数替你承担了相信的职责时，就变成了一个发现引擎。

cap set结果于2023年12月发表在《自然》杂志上，FunSearch还产出了比人类更快的装箱问题方法，其相关性从数据中心延伸到电子商务。Tao称其为"一个有前景的范式"，以及将大语言模型纳入数学研究的"一条可能的出路"，延续了DeepMind在AlphaTensor和AlphaDev之后由AI发现成果的连串纪录。