解決方案
Ars Technica 於 2022 年 10 月報導,DeepMind 找到了更有效率的矩陣乘法方式,打破了一項維持 50 年的紀錄。1969 年,Volker Strassen 找到一種演算法,能以 49 次乘法、而非課堂教法所需的 64 次乘法,計算兩個 4x4 矩陣的乘積。DeepMind 使用名為 AlphaTensor 的神經網路,找到以 47 步完成的方法,並發表於《Nature》。
DeepMind 把這個問題設計成一場單人遊戲。「棋盤」是一個三維張量,用來表示目前演算法距離正確答案還有多遠;允許的動作對應演算法指令,玩家試圖把張量的各項歸零。做到這一點,就能得到一個可證明對任意一對矩陣都正確的演算法,而效率則由步數多寡來體現。AlphaTensor 像 AlphaGo 一樣透過強化學習訓練,據 DeepMind 所述,它先重新發現了 Strassen 的成果與其他數學家的工作,然後超越他們。
對於 5x5 矩陣,AlphaTensor 找到 96 步的方法,而較舊的方法需要 98 步。一週後,林茨約翰尼斯克卜勒大學的 Manuel Kauers 與 Jakob Moosbauer 報告了 95 步的方法,並寫道他們的解法是從 DeepMind 的方案經過一連串轉換、消去一次乘法而得到。Ars 指出,矩陣乘法是語音與影像辨識及圖形處理的基礎,每天有數兆次這類計算在 GPU 上執行,因此微小的節省也能積少成多。
達成了什麼
把尋找更快矩陣演算法的過程,重新表述為在張量上進行的單人遊戲,讓會玩遊戲的 AI 能發現可證明正確的演算法。
為何奏效
正確的演算法就是一個被歸零的張量,因此正確性已內建於遊戲規則之中。
所用的步數是乾淨俐落的評分,因此 AI 能學習哪些動作會導向更短的演算法。
矩陣乘法用途極為廣泛,因此即使在 GPU 規模下,從 49 步降到 47 步也有影響。
公布所發現的方案,讓人類研究者在短短一週內就能在此基礎上繼續推進。
可套用之處
如果一個研究問題能被框構成有明確評分的遊戲,會玩遊戲的 AI 就能對其進行搜尋,而其結果也能成為人類進一步改良的起點。
後續發展
在 DeepMind 公布後一週,兩位奧地利研究者以 DeepMind 的成果為基礎,宣稱找到了 5x5 矩陣的 95 次乘法方案。Ars 推測,既然 AI 現在已能搜尋新演算法,其他長久未破的數學紀錄可能很快就會被打破。
追溯依據
參考來源
- DeepMind breaks 50-year math record using AI; new record falls a week later Ars Technica · arstechnica.com ·