Améliorer la surveillance réglementaire de l’IA médicale
Considérez une technologie capable d’identifier les tumeurs cérébrales pédiatriques plus rapidement qu’un humain. Cet avenir est arrivé. Selon une récente étude de l’American Medical Association, deux tiers des professionnels de la santé ont rapporté avoir intégré l’intelligence artificielle (IA) dans leur travail. Cependant, de nombreux cliniciens ont également exprimé le besoin d’une surveillance accrue de l’IA médicale.
Une dépendance excessive à l’égard des cliniciens
Un article récent souligne que la surveillance actuelle de l’IA médicale repose trop sur un “humain dans la boucle”, nécessitant que les cliniciens examinent et intègrent chaque recommandation de l’IA de manière sûre et efficace. Il est soutenu que la plupart des cliniciens manquent de l’expertise ou du temps nécessaires pour évaluer l’IA médicale.
Il est également noté que l’IA médicale nécessite une surveillance en raison de défauts de conception “basiques”. Par exemple, une étude a révélé qu’un algorithme destiné à détecter la pneumonie à partir de radiographies fonctionnait bien à l’hôpital où il a été développé, mais échouait dans d’autres établissements, ayant appris à détecter des caractéristiques reflétant l’environnement physique de l’hôpital d’origine plutôt que les symptômes des patients.
Les biais dans les systèmes d’IA
Les biais exacerbent ces défauts de conception. Moins de cinq pour cent des systèmes d’IA approuvés par la Food and Drug Administration (FDA) entre 2012 et 2020 ont divulgué des données démographiques raciales dans leurs ensembles de données, augmentant le risque que des données d’entraînement non représentatives aggravent les résultats pour les groupes raciaux minoritaires.
Cadres réglementaires actuels
Les cadres réglementaires actuels abordent ces défauts de conception et biais par le biais de deux niveaux de gouvernance : central et local. Au niveau central, les agences fédérales et les organisations médicales développent des cadres et règles nationaux pour surveiller et tester l’IA médicale. Par exemple, la FDA exige que de nombreux systèmes d’IA répondent à des normes de sécurité et d’efficacité avant de pouvoir entrer sur le marché.
Cependant, les directives actuelles de la FDA soulignent qu’il est crucial que les recommandations de l’IA fournissent aux cliniciens des informations spécifiques au patient afin qu’ils puissent examiner la base de chaque recommandation et appliquer leur propre jugement lors de la prise de décisions finales, laissant ainsi une responsabilité de gouvernance significative aux cliniciens individuels.
La gouvernance locale
Au niveau local, la surveillance est transférée aux hôpitaux qui testent les systèmes d’IA dans leurs propres environnements cliniques. Cependant, la gouvernance locale nécessite une expertise, une infrastructure et des ressources humaines substantielles que de nombreux hôpitaux plus petits ou moins financés ne peuvent pas rencontrer sans faire appel à leurs cliniciens, car ils manquent de personnel de soutien.
Le rôle des cliniciens
Les cliniciens restent la dernière ligne de défense contre les erreurs algorithmiques, jouant souvent un rôle correctif en vérifiant les erreurs, en ajustant les facteurs “spécifiques à la situation” et en identifiant les biais. Cependant, des chercheurs ont constaté que les cliniciens échouent souvent à identifier les modèles défectueux ou biaisés, même lorsqu’on leur fournit des outils explicatifs pour rendre les problèmes visibles.
Cette difficulté est attribuée à des lacunes dans les connaissances. De nombreux cliniciens manquent de familiarité avec les principes généraux de l’IA ou le biais systématique.
Propositions de solutions
Dans un premier temps, lorsque les cliniciens restent dans la boucle, il est proposé que les régulateurs et les hôpitaux définissent des rôles clairs et limités pour les cliniciens afin que la surveillance de l’IA médicale ne compromette pas d’autres responsabilités.
À long terme, il est envisagé que l’IA médicale fonctionne sans dépendre d’une surveillance constante des cliniciens. Les régulateurs devraient évaluer les systèmes d’IA comme des outils indépendants capables de fonctionner dans des environnements avec une expertise médicale limitée, ce qui pourrait réduire la dépendance envers des cliniciens déjà surchargés.
Pour réussir cette transition, il est crucial que la FDA et des organisations médicales adoptent des méthodes d’évaluation qui testent la performance de l’IA avec une supervision minimale par les cliniciens.
En conclusion, il est souligné que l’IA médicale ne pourra améliorer les résultats de santé que si les cadres de surveillance anticipent les limitations cliniques plutôt que de supposer une performance parfaite de la part des cliniciens.