Les exigences de sécurité pour les agents IA chez Barclays
Le principal ingénieur IA de Barclays expose les trois priorités essentielles pour déployer des agents autonomes en production : observabilité, limites de permission et la capacité d’arrêter un programme d’agent de façon programmée.
Observabilité : le pilier de la confiance
Barclays insiste sur la collecte de métriques de télémétrie, de journaux et de traces afin de pouvoir reconstituer le comportement d’un agent. Sans ces données, il est impossible de comprendre les décisions prises, ce qui transforme le test en une activité continue même après le lancement.
Autonomie encadrée
Il est inadmissible de donner à un agent IA un accès illimité aux outils et systèmes. Barclays impose des contraintes de permission : identités d’agents limitées, autorisations restreintes et « kill switches » intégrés au code, capables d’interrompre l’exécution sans recourir à une intervention d’urgence.
Intégration avec les technologies existantes
Barclays ne crée pas de nouvelle pile technologique. Les solutions existantes comme Kubernetes, les fournisseurs d’identité, les plateformes MLOps et les outils d’observabilité sont réutilisées, avec un focus sur la gouvernance et la contrôlabilité.
Conformité et supervision
Le cadre s’aligne avec les exigences de la FCA dans le programme AI Live Testing, qui privilégie la gouvernance et le contrôle opérationnel plutôt que la simple précision du modèle. Les banques doivent prouver la production de télémétrie et la capacité à réagir rapidement aux incidents.
Perspectives futures
Cette approche montre que la valeur réside dans la traçabilité et la responsabilité. Les exigences réglementaires évoluent, et les institutions qui adoptent déjà ces pratiques bénéficieront d’une mise en conformité moins coûteuse.