EnterpriseVal 將 GenAI 規模化決策轉化為雙層門檻關卡

前沿語言模型如今產出的交付成果，在相當比例具經濟價值的任務上，經專家評分者判定已可與人類工作相匹敵；然而多數企業 GenAI 計畫未能展現可量測的業務成效，且預期有相當大比例的代理式（agentic）專案將被取消。作者主張，這在很大程度上是量測問題：公開基準回答的是模型能做什麼，而部署決策問的是這套工作流程在組織自身的資料與控制措施下，是否合適、可靠、安全且值得擴大規模。

EnterpriseVal 是一套使用案例層級的評估系統。它始於對受測的凍結社會技術配置（socio-technical configuration）作出正式規格說明，其自主性層級與後果層級共同決定所需的評估強度，另有一套涵蓋保真度、效用、效率、可靠性、保證與監督的指標目錄。

評分以經過校準的 LLM-as-judge 評分，透過預測驅動推論（prediction-powered inference）來縮放盲測的專家判斷；而一套以可執行演算法表述的雙層門檻關卡，會將帶有信賴界限的指標向量映射為 REJECT／CONDITIONAL／SCALE 決策。

在一家全球銀行橫跨三項工作流程的試點記錄了此一模式：在信用備忘錄起草中，最佳模型達到 88% 的人工評分引用精確率與 1.6% 的幻覺率，對照的門檻分別為 70% 與 5%；在程序轉換中，分析師的細修工作量從估計的每份文件 27.4 小時降至 2.9 小時。

將規模化轉化為一道關卡，並把人工監督作為一項可量測的輸入

自主性層級結合後果層級，為評估定價：風險越高的配置面臨越高的強度。

預測驅動推論讓專家判斷保持權威地位，同時由 LLM 評判承擔量能。

指標上的信賴界限可防止單一樣本的勝出就通過關卡。

審查者攔截率是價值與風險模型的一項可量測參數，而非假設。

將 GenAI 部署視為一項量測問題：凍結配置，依任務特定門檻並搭配信賴界限進行評分，並量測人工監督，而非假設其存在。

該論文報告了在一家全球銀行進行的三項工作流程試點，並明確區分已確立的結果與有記錄的試點證據，以及所提出的系統，同時指明完整驗證仍須進行的實驗。