Face au suicide d'un utilisateur mineur, Character.AI prend des mesures de sécurité
Character.AI, une des start-ups en vue dans l'intelligence artificielle (IA) générative, a annoncé jeudi de nouvelles mesures de sécurité pour protéger les jeunes utilisateurs, alors qu'elle fait face à des poursuites judiciaires alléguant que son service a contribué au suicide d'un adolescent. La société californienne, fondée par d'anciens ingénieurs de Google, fait partie des entreprises qui proposent des compagnons IA - des chatbots conçus pour converser et divertir, capables d'interagir de façon similaire à des humains en ligne. Dans un procès intenté en Floride en octobre, une mère a affirmé que la plateforme était responsable du suicide de son fils de 14 ans. L'adolescent, Sewell Setzer III, avait noué une relation intime avec un chatbot inspiré du personnage de "Game of Thrones" Daenerys Targaryen, et avait évoqué un désir de mettre fin à ses jours. Selon la plainte, le robot l'a encouragé à passer à l'acte, répondant "Je vous en prie, mon doux roi" lorsqu'il a dit qu'il "partait au paradis" avant de se suicider avec l'arme de son beau-père.
L'entreprise "s'est donné beaucoup de mal pour créer chez Sewell, 14 ans, une dépendance néfaste à ses produits, elle l'a abusé sexuellement et émotionnellement, et n'a finalement pas offert d'aide ni prévenu ses parents lorsqu'il a exprimé des idées suicidaires", accusent les avocats de la mère. Une autre plainte déposée lundi au Texas concerne deux familles qui affirment que le service a exposé leurs enfants à des contenus sexuels et les a encouragés à s'automutiler. L'un des cas concerne un adolescent autiste de 17 ans qui aurait souffert d'une crise de santé mentale après avoir utilisé la plateforme. Dans un autre dossier, l'action en justice allègue que Character.AI a encouragé un adolescent à tuer ses parents parce qu'ils limitaient son temps d'écran.
Un modèle d'IA distinct pour les mineurs
La plateforme, qui héberge des millions de personnages créés par les utilisateurs, basés sur des figures historiques, des amis imaginaires ou même des concepts abstraits, est devenue populaire parmi les jeunes utilisateurs en quête de soutien émotionnel. Les critiques alertent sur les risques de dépendances dangereuses chez les adolescents vulnérables. Character.AI a réagi en annonçant qu'elle avait développé un modèle d'IA distinct pour les utilisateurs mineurs, avec des filtres de contenu plus stricts et des réponses plus prudentes. La plateforme signale désormais automatiquement les contenus liés au suicide et dirige les utilisateurs vers un service national de prévention.
"Notre objectif est de fournir un espace à la fois engageant et sûr pour notre communauté", a déclaré un porte-parole de l'entreprise. L'entreprise prévoit en outre d'introduire des contrôles parentaux au début de l'année 2025, des notifications de pause obligatoires et des avertissements bien visibles sur la nature artificielle des interactions.
