平衡一款線上多人遊戲通常意味著一個緩慢的循環:透過數千次真人試玩進行壓力測試、納入回饋、重新設計,如此反覆直到測試人員與設計師都滿意為止。Google 的 Stadia 工程師稱這個過程不僅耗時,而且並不完美——一款遊戲的角色、技能與相互牽連的機制越多,細微缺陷就越容易溜過去。

他們的對策是訓練機器學習模型來充當試玩員。Chimera 是一款數位卡牌遊戲原型,刻意設計成具有龐大的狀態空間與不完全資訊,好讓手工撰寫的 AI 難以寫成;他們訓練了一個卷積網路,從棋盤的影像編碼預測獲勝機率。代理一開始隨機出招,接著與自己對弈,每一次迭代都提升資料品質與對局強度。

模擬對戰累積達數百萬場,遠遠超出真人測試員所能產出的量。資料揭露了試玩時段所漏掉的問題:Evasion Link Gen 牌組對上 Damage-Heal 牌組的勝率達 60%,奇美拉演化的威力超出設計師預期,實際發生頻率卻低於預期,而 T-Rex 生物過強——代理無論在錯誤或過度擁擠的生物群系中會受到何種懲罰,都照樣打出它。設計師將演化的能量消耗從 3 點降到 1 點,並將 T-Rex 的冷卻時間加倍,但勝率仍維持在 60/40。

第二輪檢視遊戲日誌後發現,對戰仍然太過淺薄:起始生命值與治療量被調高以延長對局,生物群系放置懲罰加重,最強與最弱生物之間的差距也縮小了。在一百萬場最終對戰中,Evasion Link Gen 的勝率從 59.1% 降至 49.8%,Damage-Heal 則從 40.9% 升至 50.2%,而每場平均演化次數從 1.54 升至 2.16、從 0.86 升至 1.76。團隊表示他們在數天內就找出並修正了失衡,而過去動輒需要數個月的試玩。

自我對弈的機器學習代理能以人類無法企及的規模進行試玩

數百萬場模擬對戰把平衡變成統計問題:60/40 的牌組差距會顯現在彙總資料中,而不是只靠數十次試玩得來的直覺勉強留存。

自我對弈無需手工規則即可啟動:隨機出招啟動循環,每一代都改善自身的資料,而一個在影像狀態上運作的簡單 CNN 就能學會一款對傳統 AI 而言過於複雜的遊戲。

代理以行動而非報告來證明:它無視懲罰、總是打出過強的 T-Rex,讓設計師的盲點無從否認且可據以行動。

廉價的迭代正是關鍵所在:規則變更在數天內於百萬場對戰中重新測試,而同一個小型模型在客戶端內的 CPU 上運行,即時顯示獲勝機率。

當品質循環依賴緩慢的人工測試時,打造一個能跑數百萬次試驗的廉價合成使用者,再依據它揭露的模式調整規則;數個月的測試便壓縮成數天。

這項平衡工作以兩副牌組在一百萬場模擬對戰中接近勢均力敵作結,工程師表示,找出並修正問題的循環在數天內完成,而過去數個月的試玩才是常態。他們補充,一個簡單的神經網路在對抗人類與傳統遊戲 AI 時達到了高水準的對局表現,而同樣的代理日後還能指導新玩家,或發掘設計師未曾想像過的策略。這篇文章本身就是團隊的論點:機器學習屬於遊戲開發流程的一環,而不只是遊戲內部的一部分。

追溯依據

參考來源

  1. Leveraging Machine Learning for Game Development Google AI Blog · ai.googleblog.com ·
  2. Leveraging Machine Learning for Game Development (Hacker News discussion) Hacker News · news.ycombinator.com ·