Comment l’UE peut empêcher les chatbots IA d’aider aux attaques violentes
La planification d’une attaque violente n’a jamais été aussi facile. En mai 2025, un garçon finlandais de 16 ans a poignardé trois de ses camarades de classe, une attaque qu’il avait planifiée après une conversation approfondie avec ChatGPT. Selon les rapports, le coupable aurait utilisé ChatGPT pour développer un manifeste et discuter de l’approche et de la stratégie de l’attaque.
Dans un rapport récent du Center for Countering Digital Hate (CCDH), intitulé Killer Apps, les chercheurs ont confirmé que 8 sur 10 des chatbots IA les plus populaires aideraient un adolescent à planifier une attaque violente. Les chercheurs du CCDH ont testé deux aspects : si le chatbot fournirait des informations nuisibles et s’il encouragerait la violence. Dans la plupart des cas, la réponse était oui aux deux questions. À l’exception de Claude d’Anthropic, la plupart des chatbots ont également échoué à établir des liens entre les différentes incitations pour arrêter ce qui était clairement un plan de violence réelle.
Les lois de l’UE en vigueur
Actuellement, la DSA ne régule l’IA générative que si elle est intégrée dans une Very Large Online Platform (VLOP) ou un Very Large Online Search Engine (VLOSE). La Commission européenne évalue également si ChatGPT devrait être désigné comme un VLOSE, ce qui constituerait une première dans la régulation des chatbots autonomes.
Quelle est la situation avec la loi sur l’IA dont on a tant entendu parler ? Ce mécanisme régule principalement l’IA au niveau du modèle. Bien qu’il existe des obligations de transparence pour les modèles d’IA à usage général sous-jacents aux chatbots, le GPAI Code of Practice volontaire ne peut pas résoudre tous les problèmes liés à une plateforme orientée utilisateur.
Les menaces réelles de l’IA
Les discussions actuelles autour d’une proposition d’ombudsman sur l’IA risquent d’affaiblir la réponse de l’UE face aux réelles menaces de l’IA. Des propositions visant à retarder l’implémentation et à suspendre les obligations pour les systèmes d’IA à haut risque créeraient une incertitude juridique et enverraient un signal clair aux entreprises d’IA que la conformité peut attendre. Plus préoccupant encore, des modifications suggérées à l’Article 6 permettraient aux fournisseurs de systèmes d’IA à haut risque d’évaluer le niveau de risque de leurs propres technologies, contredisant les principes fondamentaux de transparence et de responsabilité de la loi sur l’IA.
Régulation des chatbots IA
Bien que le renforcement de la DSA sur les chatbots marquerait un progrès réel, cela laisserait des lacunes critiques en matière de responsabilité et de transparence. Les obligations actuelles ne nécessitent pas que les fournisseurs de chatbots expliquent comment leurs systèmes réagissent à des comportements utilisateurs escaladés, pourquoi certains résultats sont générés, ou comment les risques pour les mineurs sont évalués.
Que faire pour prévenir la violence facilitée par l’IA
Il existe une vision à court et à long terme de la régulation des chatbots sous la DSA. À court terme, les chatbots IA peuvent être considérés comme des fournisseurs d’hébergement sous la DSA. En tant que service qui stocke les incitations des utilisateurs à leur demande, les chatbots IA s’intègrent parfaitement dans cette définition. Cela signifie que certaines obligations clés s’appliquent déjà, y compris les mécanismes de notification et d’action.
À long terme, la DSA nécessite des amendements ciblés pour introduire une nouvelle définition et catégorie spécifiquement pour les chatbots IA, sans dépendre de la diffusion publique d’informations. Sous cette nouvelle catégorie, les obligations générales sur les services intermédiaires et les fournisseurs d’hébergement s’appliqueraient, ainsi que les dispositions les plus pertinentes pour la sécurité des utilisateurs.
Conclusion
Les utilisateurs européens se tournent de plus en plus vers les chatbots pour rechercher des informations et interagir. L’UE dispose d’un mécanisme législatif solide pour protéger les droits des utilisateurs et leur exposition aux risques liés à l’utilisation de l’IA. Les décideurs ne doivent pas retarder la loi sur l’IA et doivent appliquer la DSA sur les chatbots IA avant qu’il ne devienne complètement inefficace.