AI et cybersécurité : menaces évolutives et atténuation des risques
1. Accélération et amplification des risques cyber grâce à l’IA
L’IA permet aux acteurs malveillants d’opérer plus rapidement, à plus grande échelle et avec une personnalisation accrue. Malgré ces nouvelles capacités, la plupart des attaques restent ancrées dans des faiblesses classiques telles que l’usurpation d’identité, les permissions excessives, les vulnérabilités logicielles et la confiance humaine. Les organisations doivent donc renforcer les contrôles fondamentaux tout en adaptant leurs processus de détection, d’escalade et de prise de décision à un environnement où les menaces évoluent à la vitesse des machines.
2. Cartographie et compréhension des IA en place
Il est essentiel de maintenir un inventaire complet des systèmes d’IA déployés, y compris les capacités intégrées dans les logiciels existants et les IA « shadow » non autorisées. Le risque doit être classé en fonction de la sensibilité des données accessibles et de l’autorité d’action du système. Les IA connectées à des informations sensibles, des identifiants, du code source, des processus financiers ou des environnements de production nécessitent une vigilance accrue. Les questions clés sont : que peut voir l’IA ? que peut-elle faire ? qui la contrôle ? quels journaux sont générés ? comment peut-elle être confinée ?
3. Traitement des agents IA comme des identités non humaines privilégiées
Les IA agentiques peuvent aller au-delà de la génération de contenu pour accéder à des données, invoquer des outils, utiliser des identifiants, modifier des enregistrements ou exécuter des transactions. À mesure que l’autorité et l’autonomie d’un agent IA augmentent, les conséquences d’une compromission s’amplifient. Une gouvernance efficace et des contrôles techniques sont indispensables : principe du moindre privilège, comptes de service séparés, identifiants à durée limitée, restrictions d’API, et approbation humaine pour les actions critiques.
Il faut également assurer une journalisation exhaustive et la capacité de suspendre, isoler ou restaurer l’activité d’un agent en cas d’anomalie.
4. Considérer le contenu externe comme une entrée non fiable
Les attaques par injection de prompts transforment des e-mails, PDF, pages web, tickets de support ou tout autre contenu en instructions malveillantes capables de manipuler un système d’IA. Le risque est accentué lorsque l’IA combine ce contenu non fiable avec des données d’entreprise ou des outils capables d’agir. Les bonnes pratiques incluent : séparer les instructions de confiance du contenu non fiable, restreindre l’influence du matériel récupéré, appliquer un accès basé sur les rôles et limité à un usage spécifique, valider les sorties et exiger une validation humaine avant toute action à fort impact.
5. Intégration de l’IA dans la gouvernance et la réponse aux incidents cybersécuritaires
Il n’est pas nécessaire de créer un programme de cybersécurité distinct pour l’IA, mais les processus existants doivent être étendus pour couvrir les vecteurs d’attaque propres à l’IA. Les plans d’incident doivent prendre en compte : les prompts, le contenu récupéré, les informations sur le modèle et sa version, les appels d’outils, les approbations et l’activité des agents. Des procédures doivent être définies pour suspendre ou isoler les fonctionnalités IA affectées.
Les exercices de simulation (table-top) doivent inclure des scénarios d’injection de prompts, de fraude assistée par IA, de divulgation de données sensibles et d’actions non autorisées d’agents, afin de préparer les équipes à réagir rapidement et efficacement.