ConceptsMis à jour 2026-06-24 · Version 1.1

Qu'est-ce que l'évaluation de l'IA agentique ?

L'évaluation de l'IA agentique consiste à mesurer la capacité d'un agent à accomplir des tâches multi-étapes utilisant des outils dans un environnement — et non pas seulement la qualité d'une réponse unique. Alors que les modèles saturent les benchmarks de connaissances statiques, l'évaluation passe de la mesure de la capacité (ce qu'un modèle sait) à la mesure de l'agentivité (ce qu'un système peut réellement accomplir). De bonnes évaluations constituent la boucle de rétroaction qui rend possible le Harness Engineering.

Preuve: ProductionConfiance: MoyenSource: Système de productionSource: Expérience personnelleSource: Observation du secteurSource: Publication scientifique
Lisible par machine: JSON

Définition

L'évaluation agentique est la mesure des performances de bout en bout d'un agent IA — taux de réussite, fiabilité, coût et sécurité — sur des tâches réalistes et multi-étapes dans un environnement.

Points clés

  • Évaluez la réalisation des tâches (agentivité), pas seulement la qualité des réponses (capacité).
  • Les benchmarks agentiques testent les outils, les environnements et les horizons lointains.
  • Les benchmarks statiques saturent ; les benchmarks agentiques sont la nouvelle frontière.
  • Les évaluations sont la boucle de rétroaction pour améliorer le harness.
  • Mesurez ensemble la réussite, la fiabilité, le coût, la latence et la sécurité.

Contexte

Les benchmarks traditionnels posent des questions à un modèle et notent les réponses. Cela mesure la capacité, mais ne dit pas grand-chose sur l'aptitude d'un système à accomplir un travail réel. L'évaluation agentique place plutôt un agent dans un environnement avec des outils et un objectif, et évalue s'il y parvient réellement.

Ce changement est crucial car la valeur en production provient de la réalisation des tâches. Un agent qui répond bien mais ne parvient pas à terminer ses tâches n'est pas utile. L'évaluation est également ce qui permet aux équipes d'améliorer les harnesses de manière systématique plutôt qu'anecdotique.

Architecture

Une évaluation agentique définit des tâches, un environnement (réel ou simulé) avec des outils, un critère de réussite et des métriques. L'agent s'exécute ; sa trajectoire et son résultat sont notés automatiquement dans la mesure du possible, avec une révision humaine pour les cas nuancés.

Au-delà d'un simple taux de réussite, une évaluation mature suit la fiabilité d'une exécution à l'autre, les budgets de coût et de latence, ainsi que la sécurité (l'agent est-il resté dans les limites de ses autorisations et a-t-il évité des actions nuisibles). Les traces issues de l'observabilité alimentent directement la conception des évaluations.

Composants

Suite de tâchesEnvironnement et outilsCritères de réussiteMétriques (réussite, coût, latence, sécurité)Évaluateurs automatisésRévision humaineTraces de trajectoire

Avantages

  • Mesure ce qui compte vraiment : la réalisation des tâches.
  • Détecte les régressions avant qu'elles n'atteignent les utilisateurs.
  • Transforme l'amélioration du harness en une boucle mesurable.
  • Met en évidence la fiabilité, le coût et la sécurité, et pas seulement la précision.

Risques

  • Difficile de concevoir des environnements et des évaluateurs réalistes.
  • Surapprentissage (overfitting) par rapport à un benchmark plutôt qu'aux performances réelles.
  • Saturation : les benchmarks perdent leur pouvoir discriminant au fil du temps.
  • L'évaluation automatisée peut manquer de nuance ; la révision humaine est coûteuse.

Outils et technologies

SWE-bench et autres benchmarks agentiquesLangSmith / LangfuseOpenAI EvalsHarnesses de tâches personnalisésÉvaluateurs de type LLM-as-a-judge

Exemples

  • Noter un agent de codage selon que son correctif permet de valider une véritable suite de tests.
  • Mesurer le taux de résolution de tickets de bout en bout d'un agent de support.
  • Suivre la fiabilité d'un agent de workflow sur des exécutions répétées.
  • En pratique : évaluer un agent autonome (OpenClaw) sur 57 jours consécutifs à partir de traces de production — 161 sessions avec un taux de réussite de 98,8 % (2 erreurs), et une fiabilité par modèle de 100 % contre 95,7 % sur deux versions de modèle — une base de référence de fiabilité calculée directement à partir des traces opérationnelles plutôt que d'un ensemble de benchmarks prédéfinis.

FAQ

Quelle est la différence entre capacité et agentivité ?
La capacité est ce qu'un modèle sait ou peut faire de manière isolée ; l'agentivité est ce qu'un système complet peut réellement accomplir dans un environnement. L'évaluation agentique mesure cette dernière.
Pourquoi les benchmarks statiques ne suffisent-ils plus ?
Les meilleurs modèles les saturent, ils cessent donc d'être discriminants. De plus, ils ne testent pas l'utilisation d'outils, les environnements ou les tâches à horizon lointain, qui sont pourtant au cœur des performances réelles des agents.
Qu'est-ce qu'un benchmark agentique ?
Un test qui évalue la capacité d'un agent à accomplir des tâches multi-étapes utilisant des outils dans un environnement — par exemple, résoudre de réels problèmes logiciels.
Quel est le lien entre les évaluations et le Harness Engineering ?
Les évaluations sont la boucle de mesure qui rend possible le Harness Engineering : vous modifiez le harness, mesurez l'effet et conservez ce qui améliore manifestement les performances des tâches.

Références