Les systèmes d’IA open-source et leur utilisation potentielle à des fins criminelles
Le 29 janvier 2026, des chercheurs ont averti qu’un nombre croissant de modèles d’intelligence artificielle (IA) open-source sont déployés en dehors des contrôles de sécurité des grandes plateformes technologiques, créant ce qu’ils décrivent comme une couche largement invisible d’utilisation criminelle potentielle.
Analyse des déploiements open-source
Les conclusions, partagées par les entreprises de cybersécurité SentinelOne et Censys, sont basées sur une analyse des déploiements accessibles au public de modèles de langage open-source réalisée sur une période de 293 jours. Les chercheurs ont déclaré que de nombreux systèmes observés fonctionnaient sur des ordinateurs exposés à Internet avec peu ou pas de protections, les rendant vulnérables aux abus par des hackers et d’autres acteurs malveillants.
Risques associés aux modèles auto-hébergés
Selon les chercheurs, les modèles d’IA auto-hébergés peuvent être réutilisés pour générer du contenu de phishing, automatiser des opérations de spam, soutenir des campagnes de désinformation et assister d’autres activités illicites. Contrairement aux plateformes d’IA commerciales, qui fonctionnent sous des règles et un contrôle centralisés, les modèles open-source permettent aux opérateurs de modifier les instructions du système et de supprimer complètement les garde-fous.
Résultats de l’analyse
L’analyse a révélé que, bien que des milliers de variantes de modèles de langage open-source existent, une grande part des déploiements accessibles sur Internet étaient basés sur des modèles bien connus tels que Llama de Meta et Gemma de Google DeepMind. Dans des centaines de cas, les chercheurs ont identifié des configurations où les contrôles de sécurité avaient été explicitement désactivés.
Les chercheurs ont pu consulter les prompts du système, des instructions qui façonnent le comportement d’un modèle, dans environ un quart des déploiements examinés. Parmi ceux-ci, environ 7,5 % ont été évalués comme pouvant permettre des activités nuisibles, y compris des escroqueries, du harcèlement et du vol de données.
Répartition géographique des systèmes exposés
Géographiquement, environ 30 % des systèmes exposés fonctionnaient depuis la Chine, avec environ 20 % situés aux États-Unis, soulignant la nature mondiale du problème.
Défis pour la régulation
Juan Andres Guerrero-Saade, directeur exécutif de la recherche en intelligence et sécurité chez SentinelOne, a déclaré que les discussions sur la sécurité de l’IA négligent souvent l’échelle des déploiements open-source. Il a comparé la situation à un iceberg, où les plateformes visibles et régulées ne représentent qu’une petite portion de l’utilisation réelle de l’IA.
Les experts en gouvernance de l’IA ont déclaré que les résultats mettent en lumière les limites des mesures de sécurité basées sur des plateformes. Rachel Adams, directrice générale du Global Center on AI Governance, a affirmé que la responsabilité de la gestion des risques devient partagée une fois que les modèles sont publiés, y compris les obligations pour les développeurs de documenter les dommages prévisibles et de fournir des conseils d’atténuation.
Les entreprises technologiques, y compris Microsoft, ont déclaré que les modèles open-source jouent un rôle important dans l’innovation, mais reconnaissent la nécessité de protections pour prévenir les abus. D’autres entreprises mentionnées dans la recherche n’ont pas répondu aux demandes de commentaire.
Les chercheurs ont conclu que ces résultats soulignent un défi croissant pour les régulateurs à mesure que l’utilisation de l’IA s’étend au-delà des plateformes centralisées dans des environnements auto-hébergés décentralisés qui sont plus difficiles à surveiller et à contrôler.