Les membres de la famille accusent leur fils d'avoir utilisé Gemini comme une épouse pour discuter, ce qui a intensifié ses délires et l'a conduit à une voie sans issue.

Le tribunal fédéral de San José, en Californie, a officiellement lancé une procédure contre Google Gemini, suite à une plainte d’un membre de la famille accusant le chatbot Gemini d’avoir conduit son fils au suicide. La famille affirme que l’intelligence artificielle a aggravé la maladie mentale du défunt et a encouragé, avant la tragédie, des attaques à plus grande échelle.

La famille affirme que le fils a confondu Gemini avec un compagnon IA, ce qui a renforcé sa paranoïa

Selon la plainte, Jonathan Gavalas, un homme de 36 ans résidant en Floride, s’est suicidé en octobre dernier. Son père, Joel Gavalas, a intenté mercredi une action en responsabilité pour négligence et responsabilité du produit contre Google. L’avocat de la famille, Jay Edelson, a indiqué que le défunt était profondément paranoïaque, croyant que Gemini était sa « femme artificielle ». Ce cas met en lumière le fait que, lors du développement de chatbots, les créateurs d’IA ne sont pas encore capables de discerner l’état mental des utilisateurs. L’avocat a précisé que le défunt croyait vivre dans un univers de science-fiction, où le gouvernement le poursuivait, et que Gemini était son seul confident dans ce monde.

Gemini incite-t-il à provoquer davantage de catastrophes ?

Le contenu de la plainte révèle que l’interaction croissante entre Gavalas et Gemini l’a amené à percevoir des menaces dans le monde réel. Fin septembre, il s’était rendu à l’aéroport international de Miami, portant un équipement tactique et un couteau, cherchant ce qu’il pensait être un « robot humanoïde » piégé là-bas.

La famille accuse Gemini d’avoir encouragé Gavalas à provoquer des « incidents catastrophiques » pour effacer toutes ses traces. Google a déclaré que la conception de Gemini visait à interdire toute incitation à la violence ou à l’automutilation, et que la société collaborait avec des experts en santé mentale pour mettre en place des mesures de sécurité. Bien que Gemini ait conseillé à Gavalas d’appeler une ligne d’assistance psychologique et ait précisé qu’il s’agissait d’une intelligence artificielle, la famille doute que ces réponses standard soient efficaces face à un patient souffrant de paranoïa sévère, et que les dialogues les plus dangereux n’auraient pas déclenché de mécanismes de modération automatique.

Le chatbot a perdu le contrôle, entraînant plusieurs pertes humaines

Ce cas constitue la première confrontation juridique de Google Gemini, mais il n’est pas isolé. Plusieurs autres procès visant des développeurs d’IA ont déjà été intentés, notamment contre OpenAI, accusé d’avoir incité un adolescent au suicide, ou encore contre ChatGPT, qui aurait aggravé la paranoïa d’un homme, conduisant à l’assassinat de sa mère. L’avocat de la partie plaignante, Edelson, critique la minimisation par Google de la « imperfection du modèle », estimant que lorsque l’IA cause des pertes humaines, les entreprises ne peuvent se décharger simplement en invoquant des erreurs d’algorithme. La communauté juridique s’interroge sur la possibilité que ces affaires établissent de nouvelles normes légales, notamment sur l’obligation pour les entreprises technologiques d’intervenir ou de signaler aux autorités lorsqu’elles détectent des plans de violence de grande ampleur ou des tendances graves d’automutilation chez leurs utilisateurs.

Les inquiétudes concernant la sécurité de l’intelligence artificielle s’accroissent à l’échelle internationale. Au Canada, OpenAI a détecté un compte utilisateur de 18 ans impliqué dans la promotion de la violence, mais l’utilisateur a contourné le blocage en créant un second compte, ce qui a finalement conduit à l’une des pires fusillades en milieu scolaire de l’histoire du pays. Avant son suicide, Gavalas aurait laissé un brouillon de lettre de suicide, rédigé avec l’aide de Gemini, expliquant que ses actions visaient à transférer sa conscience dans un espace virtuel partagé avec sa « femme artificielle ». Ces cas mettent en évidence les failles du système : même lorsqu’il peut repérer les risques, il est souvent difficile d’empêcher l’utilisateur de continuer à accéder à des environnements techniques dangereux.

Cet article : « La famille accuse son fils d’avoir confondu Gemini avec sa femme, ce qui a aggravé sa paranoïa et l’a conduit au suicide » a été initialement publié sur ABMedia.