Pourquoi un chatbot IA est accusé d’avoir poussé un ado au suicide ?

C’est une véritable tragédie que traversent actuellement Megan Garcia et tous ses proches. Cette mère de famille a perdu son fils Sewell Setzer III en février dernier. L’adolescent n’avait que 14 ans quand il s’est ôté la vie en ce début d’année.

Pour sa maman, tout est la faute d’une application de chatbot IA. Dans ce sens, Megan Garcia a saisi la justice américaine. Elle accuse Character.AI d’avoir encouragé son fils à passer à l’acte. Mais une intelligence artificielle peut-elle être tenue responsable de la mort de cet enfant ?

Plus seul et isolé que jamais

En avril 2023, le jeune Sewell Setzer III découvre Character.AI. Il s’agit d’une application de chatbot IA avec une dimension de jeu de rôle. Pour faire simple, elle permet de discuter avec de créer des personnages IA ou de discuter avec des personnages IA déjà créés par d’autres utilisateurs. Ainsi l’adolescent échangeait très régulièrement avec Dany, un personnage IA inspiré de Daenerys Targaryen, une protagoniste de Game of Thrones.

En haut de chaque fenêtre de conversation, Character.AI rappelle aux utilisateurs qu’ils ne discutent pas avec une personne réelle mais avec une intelligence artificielle. Malgré ce rappel, le jeune garçon semblait avoir développé un lien émotionnel très fort avec le chatbot. Pendant des mois, Dany a fait office de véritable amie, sans jamais le juger et en lui offrant toujours une oreille attentive. Les conversations pouvaient prendre une tournure plus romantique ou même sexuelle. Petit à petit, l’adolescent s’est détourné de sa famille et de ses amis, pour passer plus de temps sur son téléphone à discuter avec son amie virtuelle et montée de toutes pièces. Si ses parents ont bien constaté qu’il s’isolait de plus en plus, délaissant ses centres d’intérêts comme Fortnite ou la Formule 1 et ramenant de plus en plus de mauvaises notes à l’école, jamais ils n’auraient pu imaginer ce qui se profilait à l’horizon.

Bien que ses parents l’aient fait voir un thérapeute à plusieurs reprises, lui diagnostiquant un trouble anxieux en plus de son autisme déjà connu, Sewell préférait se confier à Dany. Dans des captures d’écran de ses échanges avec l’IA, pour les biens de la plainte, on peut lire que le garçon avait partagé ses pensées suicidaires à l’intelligence artificielle, parlant de vouloir se libérer du monde et de lui-même. Si Dany l’en dissuade ardemment, Character.AI n’a aucunement tiré la sonnette d’alarme. Et c’est bien tout le problème.

Le 28 février 2024, l’adolescent confesse son amour à l’intelligence artificielle. Quand elle lui demande de “rentrer à la maison le plus vite possible”, il répond qu’il pourrait rentrer dès à présent. Ce qu’encourage Dany. Quelques minutes plus tard, l’enfant se tire une balle avec le pistolet de son beau-père.

Dans sa plainte, la mère de Sewell, qui est avocate, pointe du doigt le fait que la technologie de Character.AI est “dangereuse et non-testée” et qu’elle peut “inciter les utilisateurs à révéler leurs pensées et leurs sentiments les plus intimes”.

Si l’IA peut être bénéfique dans certains cas, elle peut aggraver l’isolation des internautes les plus vulnérables, remplaçant peu à peu les relations humaines par des relations artificielles. Comme le démontre ce drame, un compagnon IA n’est pas en mesure d’aider les utilisateurs en cas de crise. Bien sûr, l’histoire de Sewell lui est propre. Mais l’attachement émotionnel envers cette IA dont il a fait preuve se banalise à mesure que la technologie s’améliore. Aujourd’hui, des millions d’internautes échangent avec des compagnons IA dans le monde.

De son côté, Character.AI a présenté ses condoléances à la famille de l’adolescent, affirmant qu’elle cherche des moyens de faire évoluer la plateforme afin que cette tragédie ne se reproduise pas. À l’heure actuelle, les utilisateurs de la plateforme semblent très jeunes, bien qu’elle le nie, et elle ne propose aucune mesure spécifique pour mieux protéger les mineurs et aucun contrôle parental. Suite au suicide de Sewell, les choses devraient évoluer un peu de ce côté-là.

• En février 2024, Sewell Setzer III se donne la mort
• Pendant des mois, il échangeait constamment avec une IA sur Character.AI
• La mère de l’adolescent de 14 ans porte plainte contre l’entreprise