Qui sera le premier DSI licencié à cause des ravages des agents IA ?
Des contrôles et une gouvernance inadéquats des agents IA entraîneront un grand nombre de poursuites judiciaires, de multes réglementaires et de licenciements de DSI au cours des quatre prochaines années, prédit la firme d’analyse IT IDC.
Jusqu’à 20% des 1 000 plus grandes entreprises feront face à l’un de ces trois scénarios d’ici 2030 en raison de perturbations d’affaires de haut niveau causées par des agents IA défaillants, selon IDC.
Gouvernance des agents IA
Les dirigeants IT et d’affaires dans de nombreuses entreprises indiquent à IDC qu’ils explorent encore la bonne gouvernance des agents, tandis que la production des agents reste trop imprévisible, déclare Ashish Nadkarni, vice-président de groupe et directeur général de l’organisation de recherche sur l’infrastructure mondiale d’IDC.
Des rapports récents sur le chatbot IA Grok générant des images deepfake non consensuelles et sexuelles montrent le ravage que l’IA peut encore créer sans garde-fous appropriés. Nadkarni ajoute : « Parfois, le ravage est contrôlable, et parfois, il est débridé. »
Risque d’erreurs en cascade
À mesure que les DSI déploient des équipes d’agents travaillant ensemble à travers l’entreprise, il existe un risque qu’une erreur d’un agent s’auto-agrandisse lorsque d’autres agents agissent en fonction du résultat erroné. « Vous avez une boucle infinie dont ils peuvent sortir », explique-t-il.
Pression pour déployer des agents IA
De nombreuses organisations se sont précipitées pour déployer des agents IA en raison de la peur de manquer quelque chose (FOMO), ajoute Nadkarni. Mais une bonne gouvernance des agents nécessite une approche réfléchie.
Les DSI doivent considérer tous les risques lors de l’attribution d’agents pour automatiser des tâches précédemment effectuées par des employés humains.
Prévisions de pénalités réglementaires
Nadkarni prévoit que les amendes réglementaires et les grandes indemnisations seront les scénarios les plus probables à se concrétiser dans les années à venir. L’Union européenne sera active dans l’imposition d’amendes aux entreprises qui enfreignent les lois sur la vie privée et d’autres réglementations.
Les actions entreprises par les agents pourraient également enfreindre des lois américaines comme le Health Insurance Portability and Accountability Act (HIPAA), qui protège la vie privée médicale.
Difficultés pour les organisations
Plusieurs experts en IT et juridiques estiment que la prévision d’IDC semble réaliste. Les poursuites judiciaires et les amendes semblent probables, et les plaignants n’auront pas besoin de nouvelles lois IA pour déposer des réclamations, affirme Robert Feldman, responsable juridique chez EnterpriseDB.
« Si un agent IA cause une perte financière ou un préjudice aux consommateurs, des théories juridiques existantes s’appliquent déjà », dit-il.
Rôle essentiel des DSI
Les DSI joueront un rôle important dans la définition des garde-fous. Lorsque l’action juridique atteint le domaine public, les conseils d’administration voudront des réponses sur ce qui s’est passé et pourquoi. Si l’explication se résume à « le système l’a fait », cela satisfait rarement un conseil.
Les DSI doivent être proactifs en matière de gouvernance des agents, recommande Dimitri Osler, CTO et co-fondateur de Wildix. Ils devraient exiger des preuves pour les actions sensibles et rendre chaque action traçable.
« Les DSI peuvent mieux protéger les emplois en considérant la gouvernance des agents comme une pratique de leadership, et non comme une simple considération technique », conclut-il.