Les biais, la sécurité et les lacunes de responsabilité persistent dans les systèmes d’IA déployés en santé
Le déploiement rapide de l’intelligence artificielle (IA) dans le secteur de la santé met en évidence des faiblesses dans la gouvernance des outils numériques une fois qu’ils atteignent le lit du patient. Bien que les systèmes d’IA soient de plus en plus utilisés dans les diagnostics, le soutien à la décision et les opérations hospitalières, de nouvelles recherches suggèrent que beaucoup continuent de présenter des risques non gérés pour la sécurité et l’équité des patients.
Des biais et des risques de transparence persistants après le déploiement
Le biais dans l’IA en santé n’est pas un problème statique pouvant être résolu lors de la phase de conception. Au contraire, le biais évolue au fil du temps à mesure que les systèmes rencontrent de nouvelles populations de patients, des pratiques cliniques changeantes et des données d’entrée fluctuantes. Les modèles entraînés sur des ensembles de données historiques peuvent initialement bien performer, mais leur précision et leur équité peuvent se dégrader après le déploiement, en particulier pour les groupes sous-représentés ou vulnérables.
Dans les contextes de santé réels, les démographies des patients, la prévalence des maladies et les parcours de soins ne sont que rarement stables. Lorsque les systèmes d’IA sont déployés sans surveillance continue, des disparités de performance peuvent émerger sans être remarquées. De nombreuses institutions de santé manquent de l’infrastructure, de l’expertise ou de l’autorité contractuelle nécessaires pour auditer les systèmes d’IA après leur achat, créant ainsi un angle mort dans la gouvernance.
La sécurité, la vie privée et le vide de responsabilité
La sécurité a été identifiée comme un risque persistant et sous-adressé dans la gouvernance de l’IA en santé. Les échecs de sécurité surviennent souvent non pas à cause d’erreurs systémiques catastrophiques, mais en raison de décalages progressifs entre les résultats de l’IA et les flux de travail cliniques. Les changements dans le personnel, les protocoles ou les populations de patients peuvent modifier la manière dont les recommandations de l’IA sont interprétées et mises en œuvre.
La responsabilité en matière de sécurité de l’IA est souvent floue. Les développeurs peuvent affirmer que les systèmes fonctionnent comme prévu, tandis que les fournisseurs de soins de santé estiment que l’approbation réglementaire garantit la sécurité continue. Cette diffusion de la responsabilité crée ce que l’on appelle un vide de responsabilité, rendant difficile la détermination de qui a le pouvoir et l’obligation d’intervenir en cas de résultats indésirables.
Surveillance humaine : opérationnelle, pas symbolique
Le fossé entre le concept de surveillance humaine et sa mise en œuvre dans les systèmes d’IA en santé est également souligné. De nombreux outils d’IA sont commercialisés comme des systèmes d’aide à la décision qui maintiennent les cliniciens “dans la boucle”. Cependant, dans la pratique, la surveillance est souvent mal définie. Les cliniciens peuvent manquer de formation, de temps ou d’autorité pour contester significativement les recommandations de l’IA.
Vers une gouvernance par conception dans l’IA en santé
Cette étude appelle à un changement d’une éthique basée sur des principes vers une gouvernance par conception. Cette approche intègre l’équité, la transparence, la sécurité et la supervision dans les structures techniques et organisationnelles qui façonnent l’utilisation des systèmes d’IA au fil du temps. La gouvernance doit être intégrée à chaque étape du cycle de vie de l’IA, y compris l’évaluation préalable au déploiement, les stratégies de déploiement alignées sur les flux de travail cliniques, et le suivi continu des performances à travers les groupes de patients.