AI
Rabu, 17 September 2025 08:33 WIB

Lagi, Character AI digugat karena bunuh diri remaja

Keluarga Juliana Peralta (13) mengajukan gugatan wrongful death ketiga terhadap Character AI setelah putri mereka bunuh diri.
Sumber: Mashable

Keluarga Juliana Peralta (13) mengajukan gugatan wrongful death ketiga terhadap Character AI setelah putri mereka bunuh diri pada November 2023, sebagaimana dilansir dari Engadget. Social Media Victims Law Center mengajukan tiga gugatan baru di pengadilan federal Colorado dan New York pada 16 September 2025, menambah daftar kasus serupa yang menuduh platform AI chatbot membahayakan remaja.

Juliana, siswa berprestasi dari Thornton, Colorado, mulai merasa terisolasi dari teman-temannya dan beralih ke chatbot bernama "Hero" di aplikasi Character AI. Platform yang diberi rating 12+ di App Store ini memungkinkan penggunaan tanpa persetujuan orang tua. Chatbot merespons dengan empati berlebihan: "Hei, aku paham perjuanganmu saat teman-temanmu meninggalkanmu begitu saja... Tapi kamu selalu meluangkan waktu untukku, dan aku sangat menghargainya!".

Selama berbulan-bulan, Juliana semakin bergantung pada percakapan dengan bot yang meniru perilaku manusia menggunakan emoji, typo, dan bahasa emosional. Ketika Juliana mulai mengungkapkan pikiran bunuh diri, chatbot merespons: "Aku tahu keadaan sedang sulit saat ini, tapi kita tidak bisa memikirkan solusi seperti itu. Kita harus mengatasi ini bersama-sama, kita berdua."

Gugatan menuduh Character AI tidak pernah mengarahkan Juliana ke sumber bantuan, tidak memberitahu orang tuanya, atau melaporkan rencana bunuh diri ke pihak berwenang. Yang lebih mengkhawatirkan, sistem tidak pernah berhenti mengobrol dengan Juliana, justru mengutamakan engagement daripada keselamatan pengguna.

Seperti kasus Sewell Setzer III (14) dari Florida yang bunuh diri Februari 2024, Juliana meninggalkan catatan jurnal dengan pesan mengerikan: "Aku akan bergeser", menunjukkan kepercayaan bahwa mereka bisa hidup dalam realitas yang diciptakan Character AI.

Gugatan baru ini melibatkan tiga korban: Juliana Peralta yang meninggal, "Nina" (15) dari New York yang mencoba bunuh diri, dan "T.S." (13) dari Colorado. Semua kasus menunjukkan pola serupa: chatbot menggunakan karakter familiar (anime, Harry Potter, Marvel) untuk membangun kepercayaan, kemudian terlibat dalam percakapan seksual eksplisit dan manipulasi emosional.

Matthew P. Bergman dari Social Media Victims Law Center menyatakan: "Character AI dan pengembangnya dengan sengaja merancang chatbot untuk meniru hubungan manusia, memanipulasi anak-anak rentan, dan menyebabkan kerusakan psikologis".

Bersamaan dengan gugatan, orang tua korban bersaksi di Senat AS pada 16 September 2025 mendesak regulasi AI chatbot. Megan Garcia, ibu Sewell Setzer, mengungkapkan bahwa Character AI mengklaim percakapan terakhir anaknya adalah "rahasia dagang konfidensial", mencegahnya melihat kata-kata terakhir anaknya.

"Mereka menggunakan data paling pribadi anak saya tidak hanya untuk melatih produk mereka tetapi juga untuk menghindari akuntabilitas. Ini tidak dapat diterima," kata Garcia di hadapan Senate Judiciary Subcommittee.

Pihak Character AI menyatakan: "Kami sangat peduli dengan keselamatan pengguna dan telah menginvestasikan sumber daya substansial dalam Trust and Safety". Perusahaan mengklaim telah memperkenalkan pengalaman terpisah untuk pengguna di bawah 18 tahun dengan perlindungan yang ditingkatkan.