Opinion : Les inquiétudes concernant ChatGPT Health en Australie
Il existe de nombreux points d’accès à ChatGPT Health via une simple recherche. Ce service de chat propose une gamme de services liés aux problèmes médicaux pour les consommateurs.
Le lancement récent de ChatGPT Health est présenté comme un service d’information général, mais les cadres de référence sont vastes. Il s’agit d’une interface pour des informations générales qui peut être interprétée comme des conseils.
Un article du Guardian sur ChatGPT Health expose clairement et de manière alarmante ce qui peut mal tourner, notamment le cas d’une personne ayant pris du bromure de sodium au lieu de sel de table.
Problématiques soulevées
Pour expliquer ce problème de manière plus succincte :
L’IA s’appuie sur des données disponibles pour traiter les demandes. Les données disponibles concernant le bromure de sodium sont minimales et inquiétantes. Même les fabricants semblent ne disposer que de peu d’informations à ce sujet.
Ce que l’IA pourrait voir :
- Données de recherche générale. C’est acceptable pour un aperçu, mais à peine à un niveau diagnostique. Cela inclut des informations sur la sécurité et la toxicité.
- Informations sur le produit, telles qu’elles sont. Notez les nombreuses entrées « Aucune donnée disponible » sur cette fiche d’information.
Ainsi, cette personne a pris du bromure de sodium, a commencé à avoir des hallucinations et a fini à l’hôpital. Ironiquement, les informations sur la toxicité dans la recherche de base incluent également des hallucinations.
Surenchère de l’IA
Il s’agit là d’une surenchère de l’IA. Dans le cas du consommateur, il a largement dépassé ses propres connaissances. Ce type d’information ne peut pas être traduit en un remède rapide pour le sel de table ou quoi que ce soit d’autre.
Dans le cas de ChatGPT Health, c’est une énorme surenchère. Il est une chose de simplement énoncer des faits. Transposer ce niveau d’information en un quelconque type de conseil médical est hors de question.
Une des raisons pour lesquelles la santé en ligne a émergé est qu’elle est censée offrir un service similaire à celui d’un médecin généraliste. C’est rapide, efficace, cela fait gagner du temps et de l’argent aux deux parties, et personne n’a à risquer sa vie dans les embouteillages pour traiter un simple rhume.
Les services de santé par IA comme celui-ci sont inévitablement en dehors de leurs compétences de base. Ils ne sont pas soumis au même niveau de vérification à deux parties.
Un médecin généraliste et un patient pourraient simplement regarder les mêmes informations de l’IA et décider s’ils croient ou font confiance à celles-ci.
Le bromure de sodium n’aurait certainement pas passé ce niveau très basique de vérification. Un agent désinfectant pour piscine comme sel de table ? Peut-être pas.
Réglementation
La réglementation pourrait être plus simple qu’elle ne le paraît. Selon la loi australienne, une entreprise médicale ne peut pas fournir de services médicaux. Ce n’est pas non plus une personne juridique. Ce sont des distinctions très importantes.
Alors, comment une IA pourrait-elle fournir les mêmes services ? L’IA n’est pas non plus une personne juridique. Cela pourrait très bien s’étendre à toute forme de conseil médical.
En tant qu’actif thérapeutique, l’IA pourrait être régulée par l’Administration des biens thérapeutiques. Elle pourrait fonctionner uniquement sous des réglementations thérapeutiques générales, avec un certain nombre de garanties intégrées. Notez que l’interprétation raisonnable de « thérapie » peut facilement inclure des services de conseil.
Pourquoi réglementer ?
Parce que sinon, tout produit pseudo-médical dangereux peut entrer dans la chaîne alimentaire. Parce qu’il existe des risques sérieux de dommages majeurs. Regardez combien d’amusement les États-Unis ont avec leurs médicaments, qu’ils soient régulés ou non. C’est trop risqué.
Ne parlons même pas de « l’acheteur doit se méfier ». Pourquoi l’acheteur de quoi que ce soit devrait-il avoir à se méfier de quoi que ce soit ? Quel est le problème avec une obligation de commercialiser des produits sûrs ?
Un autocollant d’avertissement disant « ce produit pourrait exterminer toute votre famille » peut être noble et édifiant, mais pourquoi en avez-vous besoin ? « Peut contenir du plutonium » vous suffit-il ?
Dans le cas du bromure de sodium, il est raisonnable de supposer que personne n’a sérieusement considéré qu’il s’agissait d’un substitut au sel de table. Vous ne devriez pas avoir besoin d’être informé de cela, mais voici un cas documenté de exactement cela.
L’IA est destinée à devenir une partie critique de la médecine. Elle doit être sûre.