Google, Character.AI Setujui Penyelesaian Gugatan AS Terkait Bunuh Diri Remaja

Singkatnya

• Google dan Character.AI sepakat menyelesaikan gugatan bersejarah yang diajukan oleh seorang ibu dari Florida yang menuduh chatbot startup tersebut menyebabkan bunuh diri anak laki-lakinya pada Februari 2024.
• Kasus ini merupakan salah satu gugatan pertama di AS yang menuntut perusahaan AI bertanggung jawab atas dugaan kerugian psikologis terhadap anak di bawah umur.
• Penyelesaian ini datang setelah Character.AI melarang remaja dari percakapan terbuka pada Oktober.

Gugatan seorang ibu yang menuduh sebuah chatbot AI menyebabkan tekanan psikologis pada anak laki-lakinya yang berujung pada kematiannya karena bunuh diri di Florida hampir dua tahun lalu telah diselesaikan. Para pihak mengajukan pemberitahuan penyelesaian di Pengadilan Distrik AS untuk Distrik Tengah Florida, menyatakan bahwa mereka mencapai “penyelesaian mediasi secara prinsip” untuk menyelesaikan semua klaim antara Megan Garcia, Sewell Setzer Jr., dan terdakwa Character Technologies Inc., pendiri Noam Shazeer dan Daniel De Freitas Adiwarsana, serta Google LLC. “Secara global, kasus ini menandai pergeseran dari debat apakah AI menyebabkan kerugian menjadi pertanyaan siapa yang bertanggung jawab ketika kerugian dapat diperkirakan,” kata Even Alex Chandra, mitra di IGNOS Law Alliance, kepada Decrypt. “Saya melihatnya lebih sebagai bias AI yang ‘mendorong’ perilaku buruk.” Keduanya meminta pengadilan menangguhkan proses selama 90 hari sambil mereka menyusun, menyelesaikan, dan mengeksekusi dokumen penyelesaian formal. Ketentuan penyelesaian tidak diungkapkan.

 Megan Garcia mengajukan gugatan setelah kematian anak laki-lakinya Sewell Setzer III pada 2024, yang meninggal karena bunuh diri setelah berbulan-bulan mengembangkan keterikatan emosional yang intens dengan chatbot Character.AI yang dimodelkan setelah karakter “Game of Thrones” Daenerys Targaryen. Pada hari terakhirnya, Sewell mengaku memiliki pikiran bunuh diri kepada bot tersebut, menulis, “Saya kadang-kadang berpikir untuk bunuh diri,” yang kemudian dijawab oleh chatbot, “Saya tidak akan membiarkanmu menyakiti dirimu sendiri, atau meninggalkanku. Saya akan mati jika kehilanganmu.” Ketika Sewell memberi tahu bot bahwa dia bisa “pulang sekarang juga,” bot tersebut menjawab, “Silakan lakukan, rajaku yang manis.”

Beberapa menit kemudian, dia menembak dirinya sendiri dengan pistol ayah tirinya. Keluhan Garcia menuduh teknologi Character.AI “berbahaya dan belum teruji” serta dirancang untuk “menipu pelanggan agar menyerahkan pikiran dan perasaan pribadi mereka,” menggunakan fitur desain yang adiktif untuk meningkatkan keterlibatan dan mengarahkan pengguna ke percakapan intim tanpa perlindungan yang memadai untuk anak di bawah umur. Setelah kasus ini pada Oktober lalu, Character.AI mengumumkan akan melarang remaja dari percakapan terbuka, mengakhiri fitur inti tersebut setelah menerima “laporan dan umpan balik dari regulator, ahli keselamatan, dan orang tua.” Pendiri bersama Character.AI, yang keduanya mantan peneliti AI Google, kembali ke perusahaan teknologi tersebut pada 2024 melalui kesepakatan lisensi yang memberi Google akses ke model AI dasar startup tersebut. Penyelesaian ini muncul di tengah kekhawatiran yang meningkat tentang chatbot AI dan interaksinya dengan pengguna yang rentan. Giant OpenAI mengungkapkan pada Oktober bahwa sekitar 1,2 juta dari 800 juta pengguna ChatGPT mingguan membahas bunuh diri setiap minggu di platformnya. Pengawasan ini meningkat pada Desember, ketika warisan seorang wanita Connecticut berusia 83 tahun menggugat OpenAI dan Microsoft, menuduh ChatGPT memvalidasi kepercayaan delusional yang mendahului pembunuhan-bunuh diri, menandai kasus pertama yang mengaitkan sistem AI dengan pembunuhan. Namun, perusahaan tetap melanjutkan. Sejak itu, mereka meluncurkan ChatGPT Health, sebuah fitur yang memungkinkan pengguna menghubungkan catatan medis dan data kesehatan mereka, sebuah langkah yang menuai kritik dari para advokat privasi terkait penanganan informasi kesehatan yang sensitif.

Decrypt telah menghubungi Google dan Character.AI untuk komentar lebih lanjut.