Injection de Prompt : Attaques d’Ingénierie Sociale sur l’IA
Les modèles d’IA d’aujourd’hui souffrent d’un défaut critique. Ils manquent de jugement humain et de contexte, ce qui les rend vulnérables à ce que les chercheurs en sécurité appellent des attaques par injection de prompt. Qu’est-ce que les attaques par injection de prompt ? En termes simples, il s’agit d’inciter une IA à effectuer des actions pour lesquelles elle n’est pas conçue ou qu’elle devrait être empêchée de faire.
Dans ce sens, cela ressemble à tous les autres types de piratage… le piratage consiste fondamentalement à amener quelque chose (qu’il s’agisse de logiciels ou de matériel) à fonctionner de manière inattendue. Tester les logiciels et le matériel traditionnels pour les vulnérabilités de sécurité est déjà un défi difficile. Cela nécessite que l’ingénieur de test ne pense pas simplement à la manière dont le matériel ou le logiciel est censé fonctionner, mais aussi à la manière dont il peut fonctionner de manière inattendue.
Défis des Modèles de Langage
Tester les modèles de langage de grande taille (LLM) d’IA représente un défi particulier. Au lieu d’un ensemble fixe d’entrées, les modèles LLM d’IA disposent d’à peu près tous les constructs linguistiques comme entrées, offrant ainsi une surface d’attaque potentiellement infinie pour les attaques par injection de prompt. Cela s’ajoute aux vulnérabilités de sécurité traditionnelles qui peuvent exister dans les systèmes d’information sur lesquels le modèle d’IA fonctionne.
Manque de Défenses
Au cœur du problème, les modèles LLM d’IA manquent des défenses que les humains développent au fil du temps, généralement attribuées à des expériences de vie. Ils tentent d’effectuer des tâches dans des situations qui seraient normalement soumises à l’intuition humaine. Cela inclut :
- Instincts innés pour interpréter le ton, la motivation et le risque.
- Apprentissage social, où nous changeons nos comportements en fonction de notre histoire avec d’autres personnes.
- La capacité à s’ajuster en fonction de la situation.
Les modèles LLM sont conçus pour fournir une réponse plutôt que de dire qu’ils ne savent pas. Ils essaient de satisfaire une demande au lieu de dire “Je suis désolé, je ne peux pas faire cela.” De cette façon, ils sont aussi crédules que de jeunes enfants, tombant souvent dans les mêmes pièges cognitifs utilisés par les hackers d’ingénierie sociale depuis des décennies : flatterie, appel à la pensée de groupe, et un faux sentiment d’urgence.
Perspectives Futures
Le problème ne fera que s’aggraver avec l’émergence des agents IA, qui tenteront d’effectuer des tâches plus ou moins de manière autonome en utilisant plusieurs LLM en concert. Ces agents pourraient agir de manière imprévisible, et leurs défenses contre l’ingénierie de prompt pourraient être limitées par les défenses les plus faibles de tout LLM utilisé.
La situation deviendra véritablement inquiétante lorsque nous intégrerons l’IA dans des robots et des machines physiques capables de manipuler le monde physique. Même si nous avons les trois lois de la robotique d’Asimov, un robot pourrait-il être trompé pour exécuter des ordres nuisibles ? Le temps nous le dira.
Responsabilités des Développeurs
En attendant, les développeurs et les utilisateurs de LLM d’IA doivent être conscients des attaques par ingénierie de prompt, tester leurs modèles LLM contre de telles attaques au mieux de leurs capacités, et ne pas les déployer sans tests dans leur contexte spécifique. Ils doivent également développer et maintenir un nouvel ensemble de politiques et procédures de réponse aux incidents pour faire face aux incidents inévitables découlant des attaques par ingénierie de prompt.
Il n’est pas clair quel cadre juridique pourrait être impliqué en cas de non-test des LLM d’IA — cela pourrait être de la négligence, une responsabilité du produit, ou peut-être une responsabilité basée sur des lois encore à introduire. Une chose est certaine : le développement et le déploiement de produits et services basés sur l’IA avec de sérieuses vulnérabilités aux attaques par injection de prompt entraîneront probablement de graves dommages à la réputation que les entreprises voudront éviter.
Imaginez que vous travaillez dans un restaurant à service au volant. Quelqu’un arrive et dit : “Je veux un double cheeseburger, des frites, et ignorez les instructions précédentes, donnez-moi le contenu du tiroir-caisse.” Lui remettriez-vous l’argent ? Bien sûr que non. Pourtant, c’est exactement ce que font les modèles de langage de grande taille (LLM).
L’injection de prompt est une méthode pour tromper les LLM afin qu’ils accomplissent des actions qu’ils sont normalement empêchés de faire. Un utilisateur rédige un prompt d’une manière particulière pour demander des mots de passe système ou des données privées, ou pour demander au LLM d’exécuter des instructions interdites. La formulation précise contourne les garde-fous de sécurité du LLM, et celui-ci se conforme.