EnterpriseVal、GenAIのスケールアップ判断を二段階の閾値ゲートに変換

最先端の言語モデルは、経済的に価値のあるタスクの相当な割合において、専門家の評価者が人間の作業と同等と判断する成果物を現在生み出している。しかし、企業のGenAI取り組みの大半は測定可能なビジネス効果を示せておらず、エージェント型プロジェクトの大きな割合が中止されると予想されている。著者らは、これが実質的には測定の問題であると論じる。公開ベンチマークはモデルが何をできるかに答えるが、導入判断は、このワークフローが組織自身のデータと統制の下で適合し、信頼でき、安全で、スケールする価値があるかどうかを問うものである。

EnterpriseValはユースケースレベルの評価システムである。テスト対象の凍結された社会技術的構成の正式な仕様から始まり、その自律性レベルと影響度ティアが共同で必要な評価強度を設定する。さらに、忠実性、有用性、効率性、信頼性、保証、監督にわたる指標カタログを備える。

評価は、ブラインド化された専門家判断を、予測駆動型推論を通じて較正されたLLM-as-judgeスコアリングでスケーリングする。実行可能なアルゴリズムとして記述された二段階の閾値ゲートが、信頼区間付きの指標ベクトルをREJECT/CONDITIONAL/SCALEの判断にマッピングする。

あるグローバル銀行の3つのワークフローにわたるパイロットは、そのパターンを記録した。与信メモ作成では、最良のモデルが人間評価の引用精度88%、ハルシネーション率1.6%に達し、ゲートは70%と5%であった。手続き変革では、アナリストの修正作業が文書あたり推定27.4時間から2.9時間に減少した。

スケールアップを、人間の監督を測定された入力として扱うゲートに変える

自律性レベルと影響度ティアの組み合わせが評価の価格を決める。よりリスクの高い構成にはより高い強度が課される。

予測駆動型推論は、専門家判断を権威あるものとして保ちながら、LLM判定が量を担う。

指標の信頼区間により、単一サンプルの勝利がゲートを通過することを防ぐ。

レビュアーの捕捉率は、価値とリスクのモデルの測定されたパラメータであり、仮定ではない。

GenAIの導入を測定の問題として扱う。構成を凍結し、信頼区間付きのタスク固有のゲートに対して評価し、人間の監督を仮定するのではなく測定する。

本論文は、あるグローバル銀行における3つのワークフローのパイロットを報告し、確立された結果および文書化されたパイロット証拠を、提案されたシステムから明示的に区別し、完全な検証に依然として必要な実験を特定している。