Nouvelle loi sur le moratoire des jouets chatbot : questions sur la réglementation des chatbots
À la suite de plusieurs poursuites judiciaires contre des entreprises d’IA concernant leur possible implication dans l’encouragement au suicide et d’autres comportements criminels, y compris l’homicide, le sénateur californien Steve Padilla a introduit le projet de loi SB867, qui interdirait en Californie, jusqu’au 1er janvier 2031, la vente, l’échange et la possession avec l’intention de vendre ou d’échanger à un détaillant un jouet incluant un chatbot compagnon.
Un « jouet » est défini comme un produit conçu ou destiné par le fabricant à être utilisé dans le cadre de jeux par des enfants de 12 ans ou moins.
Questions soulevées par le moratoire
Cela soulève la question suivante : un moratoire sur un produit ou service susceptible d’être mal utilisé est-il une stratégie efficace pour la réglementation ?
Réglementations existantes en Californie et à New York
La Californie et New York ont déjà des lois qui réglementent les bots compagnons :
- SB 243 de Californie, entrée en vigueur le 1er janvier 2026, impose :
- Une notification claire à l’individu qu’il interagit avec un bot, et non un humain.
- Un chatbot compagnon ne peut engager des interactions avec les utilisateurs que s’il maintient un protocole pour empêcher la production de contenu incitant au suicide, à l’idéation suicidaire ou à l’automutilation, y compris, mais sans s’y limiter, en fournissant une notification à l’utilisateur qui le renvoie à un prestataire de services de crise.
Pour les mineurs, il est également requis :
- De rappeler à l’utilisateur, toutes les trois heures, de faire une pause et que le compagnon n’est pas humain.
- D’instituer des mesures raisonnables pour empêcher le chatbot compagnon de produire des contenus visuels à caractère sexuel explicite.
À compter de 2027, la loi imposera également une exigence de rapport annuel au Bureau californien de la prévention du suicide (OSP).
La loi sur les compagnons IA de New York (N.Y. Gen. Business Law § 1700, et seq.) comporte des exigences similaires concernant des efforts raisonnables pour détecter et traiter l’idéation suicidaire ou les expressions d’automutilation exprimées par un utilisateur au chatbot IA, et rappelle à l’utilisateur toutes les trois heures (bien que cette notification ne soit pas limitée aux mineurs).
La loi de New York est applicable par le Procureur général, tandis que la loi californienne permet un droit d’action privé.