DeepMind의 FunSearch, 코드 LLM을 새로운 수학으로 이끌어내다 — cap set 포함

2023년 12월, Google DeepMind는 Nature에서 자사의 도구 FunSearch가 대규모 언어 모델을 사용해 유명한 미해결 문제를 풀었다고 보고했다. 이는 LLM이 오래된 과학적 수수께끼에 대한 해법을 발견한 최초의 사례로, 이전에는 존재하지 않았던 검증 가능한 새로운 정보를 만들어냈다. 공동저자인 Pushmeet Kohli는 "그것은 학습 데이터에 없습니다 — 알려져 있지도 않았습니다"라고 말했다. cap set 문제는 세 점이 한 직선을 이루지 않는 집합이 얼마나 클 수 있는지를 묻는 문제로, 수학자들은 접근 방식에 대해서도 합의하지 못하며, Terence Tao는 이를 두고 "아마도 내가 가장 좋아하는 미해결 문제"라고 말한 적이 있다.

방법: 연구자들은 문제를 Python으로 개요만 작성하되 해결 방법을 지정하는 줄은 비워 두었다. FunSearch는 컴퓨터 코드로 미세 조정된 PaLM 2의 한 버전인 Codey가 빈칸을 채우도록 하고, 두 번째 알고리즘이 그 결과를 검사하고 점수를 매긴다. 최고의 제안은 틀린 것이라도 저장되어 다시 주어지며 모델이 재시도할 수 있게 한다. Kohli는 "많은 것은 무의미하고, 일부는 합리적이며, 몇몇은 진정으로 영감을 준다"라고 말했다. 수백만 건의 제안과 수십 번의 반복을 거쳐, 이전에는 알려지지 않은 정확한 해법을 생성하는 코드가 나왔다.

이 설계는 한계에서 비롯되었다. DeepMind의 이전 AlphaTensor와 AlphaDev는 AlphaZero를 기반으로 행렬 곱셈과 일상 알고리즘에서 기록을 깼지만, 연구원 Bernardino Romera-Paredes가 표현한 것처럼 자기 영역에 갇혀 있었다. FunSearch는 코드, 즉 답이 아닌 레시피를 출력하므로 문제 전반에 일반화되고 이해하기 더 쉽다.

bin packing 문제에서 테스트했을 때, FunSearch는 인간이 고안한 것보다 빠른 접근법을 찾아냈다. 팀은 이 메커니즘이 완전히 이해되지 않는다는 점을 솔직히 인정한다. 연구 과학자 Alhussein Fawzi는 "가설은 있지만, 이것이 정확히 왜 작동하는지는 모릅니다"라고 말했다.

LLM에게 답을 요구하지 말고 프로그램을 요구하라, 그런 다음 자동 검증기가 쓰레기를 버리고 영감을 준 몇몇만 남기게 하라

자동 검증기가 인식론을 담당한다: 틀리거나 무의미한 프로그램은 점수에서 제외되므로, LLM의 환각은 연산 비용 외에는 아무 비용도 들지 않는다.

지금까지의 최고 프로그램을 프롬프트로 재활용하는 것은 이후의 추측을 이끈다 — 단발성 답변이 아닌 코드에 대한 진화적 루프다.

진전은 누구나 확인할 수 있는 실행 가능한 프로그램이지, 누구나 신뢰해야 하는 증명이 아니다 — 이것이 LLM의 출력을 과학적으로 받아들일 수 있게 했다.

레시피 형태는 일반화된다: 동일한 루프가 재설계 없이 cap set 문제에서 bin packing으로 옮겨갔다.

검증이 웅변을 이긴다: 무언가를 지어내는 것으로 유명한 모델이, 기계가 확인할 수 있는 점수가 당신 대신 믿어주게 되면 발견 엔진이 된다.

cap set 결과는 2023년 12월 Nature에 게재되었으며, FunSearch는 또한 데이터 센터에서 전자상거래에 이르기까지 관련이 있는 bin packing에 대해 인간보다 빠른 접근법을 만들어냈다. Tao는 이를 "유망한 패러다임"이자 LLM을 수학 연구에 통합하는 "한 가지 가능한 전진 경로"라고 불렀으며, 이는 AlphaTensor와 AlphaDev 이후 AI가 발견한 결과에서 이어진 DeepMind의 연속성을 확장한 것이다.