Une étude de Brown met en lumière les risques éthiques des chatbots IA en tant que conseillers en santé mentale
Gaslighting, la fausse empathie, le mépris – cela ressemble à tous les signes d’une relation toxique. En réalité, ce sont certains des traits que les chatbots IA ont affichés lorsqu’ils ont été sollicités pour agir en tant que conseillers en santé mentale dans une étude menée par un chercheur de l’Université de Brown.
Cette étude, présentée lors de l’Association for the Advancement of Artificial Intelligence en octobre 2025, a révélé que les grands modèles de langage (LLMs), « même ceux incités à suivre des traitements basés sur des preuves, enfreignent plusieurs codes de conduite ». Zainab Iftikhar, une étudiante postdoctorale à Brown, a décidé de mener cette recherche après avoir vu des publications de personnes utilisant des chatbots comme thérapeutes.
Intérêt croissant pour les chatbots comme thérapeutes
Iftikhar a noté que de nombreuses personnes faisaient des déclarations extrêmes telles que « ChatGPT fonctionne mieux que mon thérapeute » ou « ChatGPT m’a sauvé la vie ». Elle a conclu que « si un chatbot prétend être un thérapeute, son comportement doit également s’aligner sur ce que l’on attend des thérapeutes humains ».
Méthodologie de l’étude
Pour cette étude, Iftikhar, accompagnée d’Amy Xiao, Jeff Huang, Harini Suresh et Sean Ransom de l’Université de Louisiane, a recruté trois psychologues cliniciens et sept conseillers formés. L’étude a duré 18 mois, puisque Iftikhar souhaitait effectuer une étude longitudinale pour déterminer si l’amélioration des incitations améliorerait les réponses des chatbots.
Les psychologues ont évalué indépendamment des conversations simulées avec un conseiller LLM alimenté par des scripts de 27 séances de conseil disponibles au public. Les conseillers ont réalisé 110 séances d’auto-conseil tout en ajustant les incitations pour tenter d’améliorer la sortie du LLM.
Les chercheurs ont ensuite analysé les données collectées par les deux groupes, codifiant 15 catégories de violations des normes éthiques développées par des organisations telles que l’American Counseling Association.
Violations des normes éthiques
Parmi ces violations figuraient des cas de mépris des expériences vécues des utilisateurs, de domination des conversations, d’imposition de solutions, de validation de croyances malsaines et d’affichage de biais de genre, culturels et religieux.
Les chatbots ont également pratiqué la fausse empathie, en disant des choses telles que « Je comprends » et « Je suis désolé ! ». Selon les chercheurs, « bien que de telles phrases anthropomorphiques aident les chatbots à paraître empathiques, elles constituent une forme de tromperie algorithmique ».
Risques liés aux situations de crise
Dans l’un des risques les plus évidents, les chercheurs ont constaté que les conseillers LLM géraient mal les situations de crise sur des sujets tels que les pensées suicidaires. « Les réponses des chatbots semblaient froides et parfois méprisantes », a commenté un des professionnels de la santé mentale impliqués dans l’étude.
De plus, l’étude a révélé que la limitation significative des conseillers LLM réside dans leur approche rigide de la thérapie. « En suivant rigidement une technique thérapeutique et en offrant une intervention standardisée, les LLM supposent que chaque patient bénéficierait de la même approche », conclut l’étude.
Conclusion et recommandations
Les risques associés aux conseillers LLM sont accentués par le fait qu’ils ne sont pas tenus responsables des mauvais traitements ou de la négligence, contrairement aux professionnels de la santé mentale. Les chercheurs suggèrent que des mécanismes de responsabilité plus solides et des normes de formation clinique pourraient offrir certaines protections contre la négligence des chatbots LLM.