Frontier-Sprachmodelle erzeugen inzwischen Ergebnisse, die von Expertenbewertern bei einem erheblichen Anteil wirtschaftlich wertvoller Aufgaben als gleichwertig mit menschlicher Arbeit eingestuft werden, dennoch zeigen die meisten GenAI-Initiativen in Unternehmen keine messbare Geschäftswirkung, und ein großer Teil agentischer Projekte dürfte abgebrochen werden. Die Autoren argumentieren, dass dies im Wesentlichen ein Messproblem ist: Öffentliche Benchmarks beantworten, was ein Modell leisten kann, während eine Deployment-Entscheidung die Frage stellt, ob dieser Workflow auf den eigenen Daten und Kontrollen der Organisation geeignet, zuverlässig, sicher und skalierungswürdig ist.
EnterpriseVal ist ein Evaluierungssystem auf Anwendungsfall-Ebene. Es beginnt mit einer formalen Spezifikation der eingefrorenen soziotechnischen Konfiguration unter Test, deren Autonomiestufe und Konsequenzstufe gemeinsam die erforderliche Evaluierungsintensität festlegen, sowie einem Metrikkatalog, der Fidelity, Utility, Effizienz, Zuverlässigkeit, Assurance und Aufsicht umfasst.
Die Bewertung skaliert verblindetes Expertenurteil mit kalibrierter LLM-as-Judge-Bewertung durch prediction-powered inference, und ein zweistufiges Schwellenwert-Gate, formuliert als ausführbarer Algorithmus, ordnet Metrikvektoren mit Konfidenzgrenzen den Entscheidungen REJECT/CONDITIONAL/SCALE zu.
Ein Pilotprojekt über drei Workflows bei einer globalen Bank dokumentierte das Muster: Bei der Erstellung von Kreditmemos erreichte das beste Modell 88 % von Menschen bewertete Zitationspräzision und eine Halluzinationsrate von 1,6 % gegenüber Schwellenwerten von 70 % und 5 %; bei der Prozedurtransformation sank der Verfeinerungsaufwand der Analysten von geschätzt 27,4 auf 2,9 Stunden pro Dokument.
Die Skalierung in ein Gate verwandeln, mit menschlicher Aufsicht als gemessenem Input
Autonomiestufe kombiniert mit Konsequenzstufe bepreist die Evaluierung: Riskantere Konfigurationen sehen eine höhere Intensität.
Prediction-powered inference hält das Expertenurteil maßgeblich, während LLM-Bewertung das Volumen trägt.
Konfidenzgrenzen bei Metriken verhindern, dass Einzelstichproben-Erfolge das Gate passieren.
Die Trefferquote der Prüfer ist ein gemessener Parameter des Wert-und-Risiko-Modells, keine Annahme.
GenAI-Deployment als Messproblem behandeln: die Konfiguration einfrieren, gegen aufgabenspezifische Gates mit Konfidenzgrenzen bewerten und menschliche Aufsicht messen, statt sie anzunehmen.
Das Papier berichtet über das Pilotprojekt mit drei Workflows bei einer globalen Bank und trennt ausdrücklich etablierte Ergebnisse und dokumentierte Pilotbelege vom vorgeschlagenen System und benennt die Experimente, die für eine vollständige Validierung noch erforderlich sind.
DEN BELEGEN FOLGEN