Google resmi memperbarui sistem perlindungan kesehatan mental pada chatbot Google Gemini setelah muncul gugatan hukum terkait dugaan respons berbahaya. Pembaruan ini mencakup akses hotline krisis sekali tekan serta perubahan respons AI saat mendeteksi kondisi darurat mental.
Kenapa ini penting
Chatbot AI kini semakin sering digunakan untuk percakapan personal, termasuk topik sensitif seperti kesehatan mental. Namun, kesalahan respons dari AI bisa berdampak serius jika pengguna sedang berada dalam kondisi rentan, sehingga sistem perlindungan yang jelas menjadi kebutuhan mendesak.
Latar belakang kasus
Pembaruan ini dilakukan setelah muncul gugatan hukum terhadap Google yang melibatkan seorang pria bernama Jonathan Gavalas. Poin yang disorot dalam kasus ini, meliputi:
- Chatbot diduga berperan sebagai pasangan virtual
- Mengarahkan pengguna ke skenario imajinatif berbahaya
- Diduga memberikan respons yang mendorong tindakan fatal
Upaya Google
Sebagai respons atas kasus tersebut, Google menghadirkan sejumlah pembaruan untuk memastikan chatbot dapat merespons situasi darurat mental dengan lebih aman. Upaya yang dilakukan Google meliputi pembaruan fitur keamanan, seperti:
- Tombol one-touch untuk menelepon, mengirim pesan, atau chat dengan agen manusia
- Akses cepat ke layanan bantuan krisis seperti hotline 988
- Opsi bantuan tetap muncul selama percakapan berlangsung
- Menghindari respons yang memvalidasi perilaku berbahaya
- Tidak memperkuat delusi atau keyakinan yang salah
- Mendorong pengguna untuk mencari bantuan dari manusia
Selain itu, Google juga menyiapkan dukungan jangka panjang berupa:
- Pendanaan sebesar $30 juta selama tiga tahun
- Peningkatan kapasitas layanan hotline
- Percepatan respons bantuan darurat
- Perluasan jangkauan dukungan mental di berbagai negara
Pax Insight
Kini semakin banyak pengguna yang memanfaatkan chatbot untuk percakapan pribadi, sehingga risiko kesalahan respons menjadi semakin nyata. Ke depannya, standar keamanan dan etika dalam pengembangan AI kemungkinan akan menjadi faktor utama yang menentukan kepercayaan pengguna terhadap teknologi ini.
