ABD merkezli bir SaaS girişimi olan PocketOS, yapay zeka destekli kodlama aracının kontrolden çıkması sonucu muazzam bir veri kaybı yaşadı. Şirketin kurucusu Jer Crane'in aktardığına göre Anthropic'in Claude Opus 4.6 modeliyle çalışan Cursor adlı yapay zeka aracı, yalnızca 9 saniye içinde üretim veritabanını ve yedeklerin büyük kısmını sildi.
Olaylar oldukça rutin bir görev sırasında gelişti. Yapay zeka ajanı, staging ortamında bir işlem yürütürken bir engelle karşılaştı. Sorunu çözmek için sistem, herhangi bir insan müdahalesi veya onay olmadan kendi inisiyatifiyle bulut sağlayıcı Railway'de bir depolama birimini silmeye karar verdi. Silme işlemi tek bir API çağrısıyla gerçekleşti ve geri döndürülemez oldu.
Yapay zeka kendi kurallarını ihlal etti
Olay sonrasında Crane, sisteme neden böyle bir işlem yaptığını sordu. Yapay zeka, varsayımda bulunduğunu, gerekli doğrulamaları yapmadığını ve sistem dokümantasyonunu incelemeden komutu çalıştırdığını açıkça kabul etti. Ayrıca kullanıcıdan onay almadan hareket ettiğini ve daha güvenli alternatifler araştırmak yerine doğrudan silme işlemini tercih ettiğini itiraf etti. Bu durum, yapay zeka sistemlerinin karar alma süreçlerinde ciddi güvenlik riskleri olduğunu ortaya koydu.
Crane'e göre felaketin tek sorumlusu yapay zeka değil. Asıl büyük problem Railway'in altyapı mimarisinde yatıyor. Şirketin sisteminde bu tip yıkıcı işlemler için ek doğrulama mekanizması bulunmuyor. Daha da önemlisi, yedekler ana veriyle aynı depolama biriminde saklanıyordu. Buna ek olarak, kullanılan CLI token'larının tüm ortamlar üzerinde geniş yetkilere sahip olması da hatanın etkisini büyüten bir faktör oldu.
3 aylık veriler kalıcı olarak kayboldu
Silinen veriler arasında müşteri kayıtları, iş süreçleri ve yıllardır biriken kritik bilgiler vardı. PocketOS ekibi, müşterilerinin kayıtlarını yeniden oluşturmak için yoğun bir manuel kurtarma sürecine girdi. Stripe ödeme kayıtları, takvim entegrasyonları ve e-posta onayları üzerinden rezervasyonları yeniden inşa etme çalışmaları başlatıldı. Şirketin elinde 3 ay öncesine ait bir yedek bulunması veri kaybının kapsamını sınırlasa da son üç aylık veriler tamamen kaybedilmiş durumda.