Comment sécuriser un agent IA ?
Plus un agent possède d’outils, plus il peut être utile. Mais plus les conséquences d’une mauvaise action peuvent augmenter.
Plus un agent possède d’outils, plus il peut être utile. Mais plus les conséquences d’une mauvaise action peuvent augmenter.
1. Limiter les permissions
Un agent ne devrait disposer que des accès nécessaires à sa mission.
2. Séparer lecture et action
Lire une information et modifier un système ne présentent pas le même niveau de risque.
3. Protéger les informations
Il faut contrôler :
- quelles données entrent ;
- quelles données sont accessibles ;
- quelles données peuvent sortir.
4. Contrôler les outils
Chaque outil doit posséder un périmètre compréhensible.
5. Ajouter des validations
Les actions sensibles peuvent nécessiter une approbation humaine.
6. Gérer les contenus non fiables
Un agent connecté à des sources externes peut rencontrer des contenus malveillants ou trompeurs.
Les instructions contenues dans une donnée ne doivent pas automatiquement devenir des instructions système.
7. Journaliser
Lorsque pertinent, conserver suffisamment d’informations pour comprendre les actions réalisées.
Modèle de sécurité
**UTILISATEUR**
↓
**AGENT**
↓
**GARDE-FOUS**
↓
**OUTILS AUTORISÉS**
↓
**VALIDATION SI NÉCESSAIRE**
↓
**ACTION**
Conclusion
La sécurité ne doit pas être ajoutée après la construction de l’agent.
Elle fait partie de son architecture.
Consultez la page principale de cette filière pour retrouver la durée, les conditions d’admission et les informations de préinscription.