Les cadres de gouvernance actuels sont-ils prêts pour l’IA agentique ?
À mesure que les systèmes d’IA deviennent plus indépendants, ils commencent à faire plus que suivre des règles simples. Certains prennent désormais des décisions, délèguent des tâches et ajustent leurs objectifs, le tout sans approbation humaine. Ces nouveaux systèmes agentiques soulèvent de nouveaux défis de gouvernance que les cadres actuels ne sont pas entièrement prêts à aborder.
Qui doit se préparer à l’impact ?
Il est essentiel que toute personne responsable de la construction, de la gestion ou de la supervision de l’IA dans un environnement réglementé prenne cela en compte. La vérité simple est que les hypothèses qui fonctionnaient pour les systèmes traditionnels basés sur des tâches ne tiennent pas pour les systèmes qui agissent de manière autonome. Sans normes plus claires pour l’autonomie et l’autorité décisionnelle, les organisations risquent d’être mal préparées à la réalité comportementale de ces agents.
Qu’est-ce qu’un système agentique ?
Un système agentique peut poursuivre des objectifs, prendre des décisions et agir avec peu ou pas de supervision humaine directe. Il peut interagir avec d’autres systèmes, changer de stratégie à la volée ou décider quand et comment escalader des tâches.
Cette situation soulève des questions fondamentales :
- Quelle liberté un agent d’IA doit-il avoir pour prendre des décisions ?
- Qui est responsable lorsque le système agentique délègue une tâche à un autre système ou agent ?
- Votre structure de supervision actuelle peut-elle détecter lorsque ce système dépasse ses limites assignées ?
li>
Si votre modèle de gouvernance est basé sur des flux de travail fixes, des approbations statiques ou des examens manuels, il ne tiendra probablement pas.
Un aperçu des cadres sur lesquels s’appuient la plupart des organisations
Trois cadres constituent souvent la base des programmes d’IA responsables : ISO/IEC 42001, le cadre de gestion des risques de l’IA du NIST, et la loi sur l’IA de l’UE. Chacun offre de la valeur, mais aucun d’eux ne fournit de réponses complètes en matière de gestion de l’autonomie et de l’autorité décisionnelle dans les systèmes agentiques.
ISO/IEC 42001
Cette nouvelle norme internationale définit les exigences pour établir un système de gestion de l’IA, en mettant l’accent sur la documentation, le contrôle des processus et l’amélioration continue. Elle est efficace pour aider les organisations à définir les rôles et responsabilités internes et à construire une approche structurée de la gouvernance de l’IA.
Cependant, ISO/IEC 42001 n’offre pas de conseils pratiques sur l’établissement ou la surveillance des limites du comportement autonome. Elle ne définit pas quelles décisions un système agentique peut ou ne peut pas prendre, ni comment gérer la délégation d’autorité au sein ou entre les systèmes.
Cadre de gestion des risques de l’IA du NIST
Le cadre NIST se concentre sur l’identification, la mesure et la gestion des risques liés à l’IA. Il promeut des principes comme la responsabilité et la transparence tout en soulignant l’importance du contexte.
Cela rend le cadre NIST flexible ; il peut être appliqué à une large gamme de systèmes, y compris les systèmes agentiques. Mais il ne définit pas les seuils d’autonomie acceptables ni n’explique comment surveiller la délégation de décisions ou la dérive des objectifs au fil du temps. Le résultat est une base solide, mais pas une boîte à outils complète.
La loi sur l’IA de l’UE
La loi sur l’IA de l’UE est le cadre réglementaire le plus complet introduit à ce jour. Elle impose des obligations spécifiques basées sur la classification des risques. Les systèmes à haut risque doivent répondre à des exigences de documentation, de supervision et de révision humaine. Tous ces éléments sont précieux.
Cependant, la loi se concentre sur les cas d’utilisation, pas sur le comportement du système. Elle suppose que le système fonctionnera de manière connue et fixe. Il n’existe aucune orientation détaillée sur ce qu’il convient de faire lorsqu’un système d’IA commence à se comporter différemment de ce qui était attendu ou prend des décisions qui évoluent avec le temps.
Principales lacunes à considérer
Si vous développez ou gouvernez des systèmes agentiques, ces cadres omettent certains éléments importants :
- Aucun standard pour les niveaux d’autonomie. Il n’existe pas de méthode cohérente pour définir quel degré de liberté un système a pour agir sans révision ou approbation.
- Aucune approche claire pour la délégation. Lorsqu’un système passe une tâche à un autre agent ou modèle, qui est responsable de ce qui se passe ensuite ?
- Aucun outil pour détecter la dérive de l’autonomie. De nombreux systèmes changent leur fonctionnement au fil du temps. Sans surveillance, vous pourriez ne pas savoir quand ils franchissent une limite jusqu’à ce qu’il soit trop tard.
- Aucune supervision du comportement émergent. Les systèmes complexes se comportent parfois de manière inattendue, surtout lorsqu’ils interagissent avec d’autres systèmes. La plupart des cadres ne traitent pas cela directement.
Bien que l’IA agentique émerge rapidement, de nombreuses inconnues subsistent, mais les problèmes exposés ci-dessus ne sont pas théoriques. Ces questions affectent déjà les entreprises qui plongent dans l’IA agentique, et elles influencent la gestion des risques, le maintien de la conformité et la construction de la confiance avec les parties prenantes.
Où l’Institut RAI peut aider
L’Institut RAI existe pour soutenir les organisations dans la fermeture de ces types de lacunes. Nous travaillons avec nos membres pour opérationnaliser l’IA responsable plutôt que de simplement en parler.
Notre TrustX Risk Classification vous aide à déterminer le niveau de risque qu’un système d’IA présente avant d’appliquer des contrôles. Un assistant de code d’IA utilisé dans le secteur de la santé n’a pas le même profil de risque qu’un outil de commerce agentique dans le secteur bancaire. TrustX aide à garantir le bon niveau de contrôle, de supervision et d’assurance en fonction de l’impact réel du système.
Notre programme RAISE Pathways comprend plus de 1 100 contrôles d’IA cartographiés en fonction de 17 normes mondiales. Cela vous donne un moyen d’évaluer vos pratiques, d’identifier où vous êtes exposé et de renforcer la gouvernance là où les cadres existants sont insuffisants.
Nos programmes de vérification et d’évaluation aident les organisations à définir ce que signifie l’autonomie au sein de leurs systèmes. Nous fournissons des examens structurés de l’autorité décisionnelle, des limites de délégation, des protocoles d’escalade et de supervision, transformant des principes abstraits en contrôles concrets.
Notre réseau de pairs et nos conseils d’experts vous donnent accès aux leçons tirées d’autres secteurs déjà confrontés à ces questions. Que ce soit dans les domaines de la santé, de la finance ou de l’énergie, nous aidons nos membres à prendre des décisions éclairées et pratiques.
Prenez le contrôle de vos systèmes agentiques (avant qu’ils ne prennent le contrôle de vos opérations)
Les systèmes agentiques et les agents agentiques sont déjà déployés dans des milliers d’entreprises dans divers secteurs. Si votre équipe explore des modèles adaptatifs, des assistants intelligents ou des agents autonomes, il est temps de reconnaître que vous ne traitez plus avec une automatisation standard.
Vos contrôles existants peuvent ne pas être suffisants et attendre que les régulateurs précisent chaque exigence est un risque.
Il est temps de :
- Cartographier l’autorité décisionnelle de vos systèmes.
- Définir des limites et des points d’escalade clairs.
- Établir une surveillance pour la dérive de l’autonomie.
- Valider votre gouvernance avec une supervision indépendante.
Les organisations qui agissent maintenant seront celles qui façonneront l’IA responsable, plutôt que de réagir à celle-ci.