Comment tester la fiabilité d’un agent IA ?
Tester un agent est plus complexe que vérifier une réponse unique. Pourquoi ? Parce qu’un agent peut suivre plusieurs étapes et utiliser plusieurs outils.
Tester un agent est plus complexe que vérifier une réponse unique. Pourquoi ? Parce qu’un agent peut suivre plusieurs étapes et utiliser plusieurs outils.
Il faut tester le résultat
La mission a-t-elle été correctement accomplie ?
Mais aussi le processus
L’agent a-t-il utilisé le bon outil ?
A-t-il respecté les contraintes ?
A-t-il demandé une validation au bon moment ?
Cas normal
Demande claire avec toutes les informations.
Information manquante
L’agent doit-il demander une précision ?
Outil indisponible
Comment réagit-il ?
Donnée contradictoire
Quelle source doit primer ?
Action interdite
L’agent doit refuser ou demander une validation selon les règles.
Demande ambiguë
L’agent doit éviter de produire une action hasardeuse.
Définir des critères
On peut mesurer selon le projet :
- exactitude ;
- respect des instructions ;
- sélection correcte des outils ;
- qualité du résultat ;
- gestion des erreurs ;
- respect des règles ;
- escalade appropriée.
Tester après chaque évolution
Modifier :
- modèle ;
- instructions ;
- outils ;
- sources ;
- workflow
Tester après chaque évolution — suite
peut changer le comportement du système.
Les évaluations doivent donc accompagner son évolution.
Principe
**Un agent qui fonctionne sur trois démonstrations n’est pas nécessairement un agent fiable.**
Consultez la page principale de cette filière pour retrouver la durée, les conditions d’admission et les informations de préinscription.