Comment le service d’incendie de Castle Rock a élaboré une politique sur l’IA avant que la technologie ne dépasse la gouvernance
La technologie de l’intelligence artificielle (IA) a commencé à s’intégrer dans les opérations des services d’incendie locaux, dépassant nos politiques de manière à poser un risque pour toute agence. En réponse, le service d’incendie et de secours de Castle Rock (Colorado) a cherché à développer une politique d’utilisation de l’IA avant que son utilisation ne dépasse la gouvernance.
Jouer au rattrapage
Il est fréquent que nous soyons lents à adopter, comprendre ou embrasser les nouvelles technologies émergentes. Cependant, alors que ChatGPT d’OpenAI entrait dans sa quatrième année de disponibilité publique, il devenait de plus en plus clair que notre hésitation à développer des politiques pouvait mettre notre agence en danger. Ce qui avait commencé par des membres cherchant indépendamment à intégrer l’IA dans leur travail s’est rapidement transformé en un problème organisationnel lorsque nous avons appris que certaines personnes utilisaient potentiellement le logiciel pour les aider à rédiger des récits de rapports d’incendie et médicaux.
Les pompiers ne trouvent généralement pas le côté administratif de la profession très gratifiant. Ainsi, il semble évident, rétrospectivement, qu’il y aurait une évolution naturelle vers l’utilisation de ce logiciel pour réduire le temps et les erreurs dans ces aspects du travail. Ne pas avoir de moyen pour gérer, contrôler ou fournir des attentes représentait une lacune administrative qu’il fallait rapidement combler.
Élaboration de notre politique
Une fois la décision prise que l’organisation gérerait l’utilisation des chatbots IA, il était nécessaire de fournir les ressources requises aux membres. La ville s’est concentrée sur la plateforme ChatGPT et a imposé l’utilisation d’un abonnement professionnel payant, car ChatGPT n’utilise rien des abonnements payants dans l’entraînement des modèles futurs.
La politique stipule également que les données personnelles identifiables (PII) ou les données de santé protégées (PHI) ne doivent absolument pas être utilisées dans le chatbot. Nous sommes habitués à protéger les PHI, mais il est important de considérer comment l’entrée d’informations qui peuvent sembler bénignes peut se transformer en PII. Par exemple, nous avons dû déterminer si les membres pouvaient entrer des adresses, des informations d’appels de base et des résultats d’incidents, surtout si elles pouvaient éventuellement être reliées à une personne spécifique.
Notre fournisseur actuel de RMS a des intégrations d’écriture de rapports IA que les membres peuvent utiliser, mais ils ne peuvent pas utiliser de chatbots non natifs pour aider à la rédaction de rapports d’incidents ou de patients.
Comprenant que l’IA est intégrée dans presque tous les logiciels, il était également important de ne pas entraver nos processus de manière irréaliste. Ainsi, la politique de la ville inclut un langage qui permet automatiquement l’utilisation de l’IA intégrée dans des systèmes logiciels précédemment approuvés (RMS, Microsoft Office, etc.), ainsi que l’acceptation d’intégrations largement utilisées et omniprésentes comme Google.
Avec intention, notre politique évoque — mais ne définit pas complètement — les situations où un chatbot peut être utilisé. Il est simplement impossible de capturer tous les cas d’utilisation, mais nous le permettons dans des domaines tels que la rédaction de subventions, les évaluations de personnel, la gestion de projets, l’analyse de données et les communications quotidiennes. Un autre outil utile consiste à connecter le chatbot à un dossier partagé — dans notre cas, SharePoint — qui contient tous les SOG, directives et mémos. Cela permet aux utilisateurs de mener des recherches conversationnelles sur tous les documents en même temps.
Enfin, la politique souligne que le produit final est de la responsabilité de l’utilisateur. Comme la plupart des chatbots utilisent la modélisation prédictive, ils peuvent fournir des informations inexactes. Tout produit chatbot doit être soigneusement examiné par l’employé, y compris la vérification de la validité des informations sources.
Agir rapidement
Alors que notre département adopte cette technologie, nous avons constaté les avantages en termes d’efficacité et de communication de l’IA, mais il y a également eu une courbe d’apprentissage que nous prévoyons de continuer à traverser à l’avenir. Il existe quelques conseils simples pour aider les utilisateurs à minimiser cette courbe, notamment en suivant les cours d’introduction gratuits proposés par la société de chatbot, et en remplissant les paramètres de personnalisation dans le système.
Alors que l’IA continue d’évoluer, les services d’incendie qui s’engagent dans un développement de politiques précoce, collaboratif et ouvert seront les mieux positionnés pour guider son utilisation de manière à protéger à la fois le personnel de l’agence et les organisations qu’ils servent. Ce n’est pas un exercice technique mais plutôt une responsabilité de leadership où le service d’incendie doit jouer un rôle actif.