Risques de supervision et cas d’utilisation de l’IA agentique dans les services financiers
Le 27 janvier, une discussion sur l’IA agentique a été publiée, décrivant comment les entreprises membres commencent à expérimenter des systèmes d’IA autonomes tout en identifiant les considérations de supervision associées à ces déploiements précoces.
Il est noté que, contrairement aux outils d’automatisation traditionnels, les agents d’IA peuvent opérer à travers plusieurs systèmes et sources de données avec des niveaux d’indépendance variables, soulevant des questions sur l’application des cadres de supervision et de gouvernance existants à des outils capables d’agir sans intervention humaine continue.
Risques identifiés par FINRA
Sur la base de la surveillance des risques et des interactions avec les entreprises membres, plusieurs domaines de risque associés à l’utilisation de l’IA agentique ont été identifiés. Les principaux risques mis en avant incluent :
- Risques d’autonomie, de portée et d’autorité. Les agents d’IA peuvent initier des actions sans validation humaine significative ou agir en dehors de leur portée ou autorité d’utilisateur si les limites et les mécanismes d’approbation ne sont pas clairement définis et appliqués.
- Défis d’auditabilité et d’explicabilité. Les processus de raisonnement et de prise de décision en plusieurs étapes peuvent rendre le comportement des agents difficile à tracer, à expliquer ou à reconstruire, compliquant ainsi la supervision, les tests et les examens post-incident.
- Risques de gouvernance des données et de confidentialité. Les agents opérant à travers des systèmes et ensembles de données peuvent involontairement stocker, explorer, divulguer ou mal utiliser des informations sensibles ou propriétaires.
- Limitations de conception des modèles et de connaissances sectorielles. Les agents à usage général peuvent manquer de l’expertise spécialisée nécessaire pour des tâches complexes dans les services financiers, et des objectifs ou mécanismes de renforcement mal conçus peuvent conduire à des résultats non alignés avec les intérêts des investisseurs ou du marché.
- Risques persistants liés à l’IA générative. Les biais, les hallucinations et les préoccupations en matière de confidentialité demeurent présents et peuvent être amplifiés lorsque les systèmes d’IA fonctionnent avec une autonomie accrue.
Application pratique
Les observations de FINRA soulignent que les institutions financières restent responsables de la supervision des activités pilotées par l’IA, même lorsque les outils fonctionnent avec une autonomie significative et sans de nouvelles exigences spécifiques à la technologie. Les institutions envisageant l’IA agentique devraient évaluer si les contrôles existants de supervision, d’escalade, de documentation et de gouvernance des données sont suffisants pour des systèmes capables de planifier et d’agir de manière indépendante.