Les Chatbots de Santé : Une Source d’Inquiétude pour les Analystes en Gouvernance de l’IA
Lorsque un chatbot IA conseille d’ajouter de la colle sur une pizza, l’erreur est évidente. Cependant, recommander de consommer plus de bananes – un conseil nutritionnel qui pourrait être dangereux pour une personne souffrant d’insuffisance rénale – cache une erreur qui passe inaperçue.
Un risque qui pourrait désormais toucher des centaines de millions d’utilisateurs sans presque aucune régulation est en train de se profiler.
Le Lancement de ChatGPT Health
Il y a quelques jours, OpenAI a lancé ChatGPT Health, permettant aux utilisateurs de connecter des dossiers médicaux et des applications de bien-être pour obtenir des conseils santé personnalisés. La société a indiqué que plus de 230 millions de personnes posent des questions de santé chaque semaine, avec 40 millions d’utilisateurs quotidiens recherchant des conseils médicaux.
Une Réaction Sceptique des Experts
Certaines voix parmi les experts en IA expriment des doutes. Diana Kelley, directrice de la sécurité de l’information chez Noma Security, déclare : « Ce qui est inhérent aux modèles est cette génération probabiliste du prochain token. Les modèles ne savent pas naturellement quand ils manquent d’informations et ne sont pas calibrés pour exprimer l’incertitude. »
Elle ajoute : « Ils sont simplement très bons pour produire un texte qui semble plausible et autoritaire, même quand ce n’est pas le cas. » L’utilisation de chatbots dans le secteur de la santé amplifie les risques à travers ce que Kelley décrit comme une asymétrie de vérification.
Les Limites des Évaluations de Sécurité de l’IA
Les évaluations standard de sécurité de l’IA pourraient ne pas détecter les sorties les plus risquées. Koustuv Saha, professeur assistant à l’Université de l’Illinois, indique que « la plupart des évaluations se concentrent sur des signaux de surface comme les violations de politique explicites ou les erreurs factuelles, tout en récompensant la fluidité et l’empathie. »
La Nécessité d’une Surveillance Humaine
Shannon Germain Farraher, analyste senior en santé chez Forrester, souligne que les organisations de santé nécessitent de hauts niveaux de précision. Les conseils médicaux ne peuvent tolérer le « non-sens cohérent » qui pourrait être acceptable dans d’autres domaines moins critiques.
Détecter des conseils trompeurs contextuellement requiert une surveillance humaine à travers ce qu’elle appelle « sentir, faire remonter et apaiser ».
Les Risques Implicites dans les Conversations
Les risques se cumulent à travers les échanges conversationnels de manière que les garde-fous de sécurité peuvent ne pas aborder. « Les instructions de sécurité sont les éléments les plus importants que le modèle voit », explique Naga. « Mais à mesure que la conversation s’éternise, surtout si un utilisateur partage des peurs ou des traumatismes, le modèle est formé pour s’aligner sur le ton émotionnel de l’utilisateur. »
Solutions Proposées pour la Sécurité
Le garde-fou technique le plus impactant, selon Naga, est la citation obligatoire. « Nous devons coder des systèmes qui ne se contentent pas de répondre, mais qui doivent mettre en avant la source médicale spécifique qui soutient la réponse. »
Il plaide également pour une friction produit : montrer des réponses floues jusqu’à ce que les utilisateurs reconnaissent des avertissements, ou mettre en avant des phrases incertaines. « Les entreprises sont les moins enclines à mettre en œuvre de la friction car elles souhaitent que leur IA semble magique et instantanée. »
Cadre de Responsabilité Non Résolu
Actuellement, il s’agit d’une zone grise massive. Le fossé de gouvernance pourrait créer un risque stratégique pour les organisations qui déploient des IA de santé. À l’heure actuelle, il n’existe pas de loi fédérale unifiée ou de norme industrielle régissant les chatbots de santé pour les consommateurs.