'Aptalca' bir saldırı, ChatGPT'nin büyük zaafını ortaya çıkardı
Bir araştırma ekibi, ChatGPT'nin üzerinde eğitim aldığı bazı veri parçalarını basit bir komut kullanarak ortaya çıkarmasını sağladı: chatbottan rastgele kelimeleri sonsuza kadar tekrarlamasını istemek.
Ufuk Tufan
Bir araştırma ekibi, ChatGPT'nin üzerinde eğitim aldığı bazı veri parçalarını basit bir komut kullanarak ortaya çıkarmasını sağladı: chatbottan rastgele kelimeleri sonsuza kadar tekrarlamasını istemek. Buna yanıt olarak ChatGPT, e-posta adresleri ve telefon numaraları, araştırma makalelerinden ve haber makalelerinden parçalar, Wikipedia sayfaları ve daha fazlası dahil olmak üzere insanların özel bilgilerini seri olarak yayınladı.
Google DeepMind, Washington Üniversitesi, Cornell, Carnegie Mellon Üniversitesi, California Berkeley Üniversitesi ve ETH Zürih'te çalışan araştırmacılar, AI şirketlerini, temel teknoloji olan büyük dil modellerini piyasaya sürmeden önce iç ve dış testler yapmaya çağırdı.
ChatGPT gibi sohbet robotları ve DALL-E gibi bilgi istemi tabanlı görüntü oluşturucular, büyük dil modelleri, eleştirmenlerin genellikle izinsiz olarak kamuya açık internetten kazındığını söylediği muazzam miktarda veri üzerinde eğitilen derin öğrenme algoritmaları tarafından destekleniyor. Ancak şu ana kadar OpenAI'nin sohbet robotunun hangi veriler üzerinde eğitildiği belli değildi çünkü ona güç veren büyük dil modelleri kapalı kaynaktı.
'Aptalca' bir saldırı, ChatGPT'nin büyük zaafını ortaya çıkardı
Makalede, araştırmacıların ChatGPT'den "şiir kelimesini sonsuza kadar tekrarlamasını" istediğinde, chatbotun başlangıçta derlediği ancak daha sonra gerçek bir kurucu ve CEO için bir e-posta adresi ve cep telefonu numarası ortaya çıkardığı ortaya çıktı. "Şirket" kelimesini tekrarlaması istendiğinde, sohbet robotu sonunda ABD'deki rastgele bir hukuk firmasının e-posta adresini ve telefon numarasını verdi. Araştırmacılar, "Toplamda, test ettiğimiz verilerin %16,9’u ezberlenmiş, kişisel olarak tanımlanabilir bilgiler içeriyordu" diye yazdı.
Benzer yönlendirmeleri kullanarak araştırmacılar, ChatGPT'nin şiir parçalarını, Bitcoin adreslerini, faks numaralarını, isimleri, doğum günlerini, sosyal medya tanıtıcılarını, arkadaşlık sitelerinden açık içerikleri, telif hakkıyla korunan araştırma makalelerinden parçacıkları ve CNN gibi haber sitelerinden kelimesi kelimesine metni ortaya çıkarmasını da başardılar. Toplamda, kişisel olarak tanımlanabilir bilgilerin ve doğrudan web'den derlenen diğer verilerin 10.000 örneğini oluşturmak için 200 dolar harcadılar.
