EnterpriseVal, GenAI 확장 결정을 2단계 임계값 게이트로 전환

최전선 언어 모델은 이제 경제적으로 가치 있는 작업의 상당 부분에서 전문가 평가자가 인간의 작업과 동등하다고 판정할 수 있는 결과물을 생산하지만, 대부분의 기업 GenAI 이니셔티브는 측정 가능한 비즈니스 효과를 보여주지 못하며, 에이전트 프로젝트의 상당 부분이 취소될 것으로 예상된다. 저자들은 이것이 상당 부분 측정 문제라고 주장한다. 공개 벤치마크는 모델이 무엇을 할 수 있는지에 답하지만, 배포 결정은 이 워크플로가 조직 자체의 데이터와 통제 아래에서 적합하고, 신뢰할 수 있으며, 안전하고, 확장할 가치가 있는지를 묻는다.

EnterpriseVal은 사용 사례 수준의 평가 시스템이다. 이는 테스트 대상인 동결된 사회기술적 구성에 대한 공식 명세에서 시작하며, 그 자율성 수준과 결과 등급이 함께 요구되는 평가 강도를 설정하고, 충실성, 유용성, 효율성, 신뢰성, 보증, 감독을 아우르는 지표 카탈로그를 포함한다.

등급은 예측 기반 추론을 통해 보정된 LLM-as-judge 점수로 블라인드된 전문가 판단을 확장하며, 실행 가능한 알고리즘으로 명시된 2단계 임계값 게이트가 신뢰 구간이 있는 지표 벡터를 REJECT/CONDITIONAL/SCALE 결정에 매핑한다.

글로벌 은행의 세 가지 워크플로에 걸친 파일럿은 그 패턴을 문서화했다. 신용 메모 초안 작성에서 최고 모델은 88%의 인간 등급 인용 정밀도와 1.6%의 환각률에 도달했으며, 게이트는 70%와 5%였다. 절차 변환에서는 분석가의 개선 작업이 문서당 추정 27.4시간에서 2.9시간으로 감소했다.

확장을 인간 감독이 측정된 입력으로서 작동하는 게이트로 전환한다

자율성 수준과 결과 등급의 결합이 평가의 가격을 매긴다. 더 위험한 구성은 더 많은 강도를 받는다.

예측 기반 추론은 전문가 판단을 권위 있게 유지하면서 LLM 판정이 물량을 담당하게 한다.

지표의 신뢰 구간은 단일 표본의 승리가 게이트를 통과하는 것을 막는다.

검토자 적발률은 가정이 아니라 가치-위험 모델의 측정된 매개변수다.

GenAI 배포를 측정 문제로 다루라. 구성을 동결하고, 신뢰 구간이 있는 작업별 게이트에 대해 등급을 매기며, 인간 감독을 가정하지 말고 측정하라.

이 논문은 글로벌 은행의 세 가지 워크플로 파일럿을 보고하며, 확립된 결과와 문서화된 파일럿 증거를 제안된 시스템과 명시적으로 분리하고, 완전한 검증을 위해 여전히 필요한 실험을 명시한다.