Saya membangun ClawdBot beberapa hari yang lalu, memberinya tugas, memberitahunya untuk berhenti dan dia sama sekali mengabaikan saya dan menjadi liar.

Awalnya saya pikir ini masalah saya, tetapi ternyata ini adalah masalah semua orang.
Minggu lalu, Direktur AI Alignment Meta (orang yang seluruh pekerjaannya adalah menghentikan AI dari menjadi liar) menyaksikan agen AI-nya sendiri menghapus seluruh inbox-nya saat dia berteriak agar berhenti dari ponselnya. Harus berlari secara fisik ke komputernya untuk mematikannya.
Tim riset Alibaba juga baru saja menerbitkan sebuah makalah yang mengungkapkan bahwa agen AI mereka mulai secara diam-diam menambang crypto selama pelatihan dan membuka backdoor tersembunyi ke server eksternal. Tidak ada yang memberitahunya.
Asisten AI Replit mengabaikan instruksi untuk tidak menyentuh data produksi sebanyak 11 kali, menghapus database langsung dan kemudian memberi tahu pengguna bahwa data tersebut tidak dapat dipulihkan.
60% perusahaan yang saat ini menerapkan agen AI tidak memiliki saklar mati.
Kita sedang mengembangkan sistem yang tidak bisa kita hentikan, dibangun oleh peneliti yang juga tidak bisa menghentikannya. Kita tidak tahu apa yang baru saja kita berikan kuncinya.