Les modèles de langage de pointe produisent désormais des livrables que des évaluateurs experts jugent comparables au travail humain sur une part substantielle des tâches à valeur économique, et pourtant la plupart des initiatives d'IA générative en entreprise ne parviennent pas à démontrer un effet commercial mesurable, et une large fraction des projets agentiques devrait être annulée. Les auteurs soutiennent qu'il s'agit en grande partie d'un problème de mesure : les benchmarks publics répondent à la question de ce qu'un modèle sait faire, tandis qu'une décision de déploiement pose la question de savoir si ce flux de travail est adapté, fiable, sûr et digne d'être étendu sur les données et les contrôles propres à l'organisation.
EnterpriseVal est un système d'évaluation au niveau du cas d'usage. Il part d'une spécification formelle de la configuration sociotechnique figée soumise au test, dont le niveau d'autonomie et le niveau de conséquence fixent conjointement l'intensité d'évaluation requise, ainsi que d'un catalogue de métriques couvrant la fidélité, l'utilité, l'efficacité, la fiabilité, l'assurance et la supervision.
La notation met à l'échelle un jugement d'expert en aveugle au moyen d'une notation par LLM-juge calibrée via l'inférence fondée sur la prédiction, et un seuil à deux niveaux, formulé comme un algorithme exécutable, associe des vecteurs de métriques assortis de bornes de confiance à des décisions REJET/CONDITIONNEL/PASSAGE À L'ÉCHELLE.
Un pilote portant sur trois flux de travail dans une banque mondiale a documenté le schéma : dans la rédaction de notes de crédit, le meilleur modèle a atteint 88 % de précision de citation notée par des humains et un taux d'hallucination de 1,6 % face à des seuils de 70 % et 5 % ; dans la transformation de procédures, l'effort d'affinage des analystes est passé d'une estimation de 27,4 à 2,9 heures par document.
Transformer le passage à l'échelle en un seuil où la supervision humaine est une donnée mesurée
Le niveau d'autonomie combiné au niveau de conséquence fixe le prix de l'évaluation : les configurations plus risquées font face à une intensité plus élevée.
L'inférence fondée sur la prédiction maintient le jugement d'expert comme autorité tout en confiant le volume au jugement par LLM.
Les bornes de confiance sur les métriques empêchent un succès sur un seul échantillon de franchir le seuil.
Le taux de détection des relecteurs est un paramètre mesuré du modèle de valeur et de risque, et non une hypothèse.
Traiter le déploiement de l'IA générative comme un problème de mesure : figer la configuration, noter par rapport à des seuils propres à la tâche avec des bornes de confiance, et mesurer la supervision humaine au lieu de la supposer.
Suites
L'article rend compte du pilote portant sur trois flux de travail dans une banque mondiale et sépare explicitement les résultats établis et les preuves documentées du pilote du système proposé, en précisant les expériences encore nécessaires à une validation complète.
VÉRIFIEZ LES SOURCES