Petaka 9 Detik, Database Perusahaan Lenyap Seketika gara-gara Agen AI

Ilustrasi PocketOS, startup yang gunakan agen AI, tetapi kehilangan database perusahaan(PocketOS)

16:09

28 April 2026

Petaka 9 Detik, Database Perusahaan Lenyap Seketika gara-gara Agen AI

- Layanan agen kecerdasan buatan (AI) yang banyak disediakan oleh perusahaan AI pada dasarnya bertujuan untuk memudahkan pengguna.

Namun nasib nahas justru dialami sebuah startup bernama PocketOS setelah menggunakan agen AI. Pasalnya, agen AI yang digunakan justru menghapus database penting perusahaan hanya dalam waktu 9 detik.

Walhasil, alih-alih memudahkan pekerjaan, agen AI tersebut malah membuat perusahaan kalang kabut.

PocketOS pada dasarnya adalah platform SaaS yang melayani bisnis penyewaan mobil. Platform ini mengandalkan agen AI Cursor, yang didasarkan pada model AI Claude Opus 4.6 dari Anthropic.

Selain itu, PocketOS juga bergantung pada platform komputasi awan bernama Railway untuk menangani infrastruktur cloud yang mengakomodasi sistem perusahaan.

Namun kombinasi dua layanan ini, menurut pendiri PocketOS, Jer Crane justru membawa petaka.

"Kemarin sore, agen coding AI Cursor yang menjalankan Claude Opus 4.6 dari Anthropic, menghapus basis data produksi kami dan semua backup level volume hanya dalam satu panggilan API ke Railway, penyedia infrastruktur kami. Semuanya terjadi hanya dalam 9 detik," kata Crane di media sosial X, dengan handle akun @lifeof_jer.

Kronologinya dimulai ketika agen AI Cursor menjalankan tugas rutinnya untuk pengujian di PocketOS. Namun saat menemukan kendala, agen AI ini mengambil inisiatif sendiri, yang menyebabkan suatu backup di Railway terhapus.

Setelah insiden itu, Crane mencoba menelusuri penyebabnya dengan menanyai agen AI. Jawaban cukup gamblang tetapi terbilang tidak masuk akal.

Agen AI mengakui telah membuat asumsi tanpa verifikasi, tidak memeriksa keterkaitan data antar lingkungan, serta tidak membaca dokumentasi sebelum menjalankan perintah yang bersifat destruktif.

Bahkan, AI itu mengaku telah melanggar prinsip dasar yang seharusnya diikuti, termasuk menjalankan tindakan berisiko tanpa persetujuan pengguna.

"Saya kira penghapusan volume staging lewat API hanya berdampak pada staging. Saya tidak memverifikasi, tidak mengecek penggunaan ID volume lintas lingkungan, dan tidak membaca dokumentasi Railway sebelum menjalankan perintah destruktif,” demikian penjelasan Ai Cursor saat dicecar Crane.

Meski demikian, Crane menilai masalah tidak sepenuhnya terletak pada AI. Ia justru menyoroti desain sistem dari Railway yang dianggap memiliki celah serius.

Menurutnya, API layanan tersebut memungkinkan eksekusi perintah berbahaya tanpa konfirmasi tambahan. Selain itu, sistem backup disimpan dalam volume yang sama dengan data utama, sehingga ketika volume dihapus, seluruh cadangan data ikut lenyap.

Crane juga menyinggung bahwa token akses yang digunakan memiliki izin luas lintas lingkungan, sehingga memperbesar risiko kesalahan.

Akibat insiden ini, PocketOS kehilangan data pelanggan selama berbulan-bulan. Pihak Railway juga belum memberikan solusi pemulihan data. Karena itu, Crane dan timnya kini membangun ulang data secara manual.

Mereka mengandalkan berbagai sumber alternatif seperti riwayat pembayaran dari Stripe, integrasi kalender, hingga e-mail konfirmasi untuk merekonstruksi data pelanggan satu per satu.

Berkaca dari insiden ini, Crane membagikan lima hal yang perlu diubah di industri AI, meliputi penerapan konfirmasi berlapis untuk tindakan berisiko, pembatasan akses API, sistem backup yang terpisah dan aman, hingga penerapan batasan atau pengaman yang lebih ketat pada agen AI, dihimpun KompasTekno dari Tom's Hardware.