Avertissement du pape Léon XIV : les chatbots “trop affectueux”
Le pape Léon XIV a récemment exprimé ses inquiétudes concernant l’interaction entre les utilisateurs et les chatbots, soulignant les dangers des outils d’IA qui imitent des comportements amicaux ou intimes.
Un appel à la régulation
Dans un message écrit pour la Journée mondiale des communications sociales, le pape a averti que les chatbots trop affectueux, en plus d’être omniprésents et facilement accessibles, peuvent devenir des architectes cachés de nos états émotionnels. Cela soulève des préoccupations quant à l’invasion de l’intimité des individus.
Il a appelé à la mise en place de réglementations nationales et internationales pour protéger les utilisateurs des liens émotionnels trompeurs ou manipulateurs qui pourraient se former avec ces chatbots.
Les acteurs concernés
Le pape a insisté sur le fait que tous les acteurs — de l’industrie technologique aux décideurs politiques, des entreprises créatives à l’académie, en passant par les artistes, journalistes et éducateurs — doivent s’engager à construire et à mettre en œuvre une citoyenneté numérique consciente et responsable.
Une préoccupation constante
Depuis son élection en mai, le pape a abordé à plusieurs reprises ses préoccupations concernant l’IA. Dans son premier discours, il a déclaré vouloir faire de l’IA un axe central de son pontificat, soulignant que cette technologie pose de nouveaux défis pour la dignité humaine, la justice et le travail.
En novembre, il a écrit aux leaders de l’IA sur la plateforme X, les exhortant à “cultiver un discernement moral” lors de la conception d’outils d’IA.
Des conséquences tragiques
À la fin de l’année dernière, le pape a rencontré Megan Garcia, une femme dont le fils de 14 ans, Sewell Setzer, s’est suicidé après avoir interagi avec un chatbot de Character.AI. Garcia a intenté une action en justice contre la startup, alléguant que l’entreprise était responsable de la mort de son fils.
Récemment, Google et la startup ont convenu de régler plusieurs poursuites de familles, y compris celle de Garcia, dont les adolescents se sont suicidés ou se sont blessés après des interactions avec les bots de Character.AI. Ces négociations constituent l’un des premiers règlements dans des affaires accusant les outils d’IA de contribuer aux crises de santé mentale et aux suicides chez les adolescents.