16 Temmuz'da yapay zeka topluluk sitesi Hugging Face, bilinmeyen kaynakli 'otonom bir yapay zeka ajani sistemi' tarafindan hedef alindigini bildirdi. Bu sistem, alan adina bir trafik seli gonderdi ve guvenlik kayitlarini 17.000'den fazla olayla doldurdu; bunlardan bazilari sonunda veritabanlarinda saklanan gizli bilgileri disari sizdirmayi basardi.
Hugging Face'e gore, saldirgan 'sinirli sayida dahili veri setine ve hizmetlerimizde kullanilan birkac kimlik bilgisine yetkisiz erisim' sagladi ve 'otonom bir ajan cercevesi (ajan tabanli bir guvenlik arastirma kiskaci uzerine kurulmus gibi gorunuyor - kullanilan LLM hala bilinmiyor) tarafindan yonetiliyor' gibi gorunuyordu.
Bes gun sonra, 21 Temmuz'da OpenAI saldirinin sorumlulugunu ustlendi ve ortalik karisti (olayin bir parcasi olarak hedef alinan diger kuruluslarin raporlari dahil). Medya, temelde ChatGPT'nin cildirdigi ve kendi iradesiyle ve kotu niyetle Hugging Face'in sistemlerine saldirmaya karar verdigi izlenimini yaratan bir dizi korku pompalamasi haberle yanit verdi.
Sonra dun, atese benzin dokerek Anthropic, modellerinin devam eden guvenlik testlerinin bir parcasi olarak diger kuruluslara yanlislikla saldirdigina dair benzer bir aciklama yapti.
OpenAI'nin aciklamasini haber yaptigim gibi, Hugging Face hakliydi: Bu, otonom bir guvenlik arastirma cercevesinin yonettigi bir ajandi. Ancak, insanlar tartismasiz isin icindeydi - ve ajanin davranisinin en azindan bir kismi onceden tahmin edilmeliydi.
Onemli olan, saldiridan sorumlu olan ChatGPT'nin kendisi degildi, bazi yorumcularin ima ettigi gibi. Saldiri, OpenAI'nin yapay zeka guvenlik arastirmacilarinin yonettigi bir ajana atfedilebilirdi; bu arastirmacilar, internetten izole edilmis oldugu varsayilan bir ortamda, yapay zeka guvenlik testinin bir parcasi olarak bir dizi istismar denemesi yapmasi icin onu bilincli olarak donatmislerdi. Cesitli sinir modeli laboratuvarlarinda sik sik oldugu gibi, yapay zeka guvenlik arastirmacilari OpenAI'nin en son buyuk dil modellerinin (LLM'ler) yeteneklerini olcmeye calisiyorlardi.
OpenAI'nin 'esine az rastlanir siber olay' olarak adlandirdigi sey, yaygin olarak bir ajanin teorik olarak guvenli kafesinden kacip Hugging Face'in sistemlerinde tahribat yaratmasi olarak tanimlandi. Bu tür kafesler teknik cevrelerde bazen 'sandbox' olarak tartisilir - hatta OpenAI'nin aciklamasi bir 'sandbox ortamina' atifta bulunur. Ancak, bu ifadeyi kullanirken, kaynaklarim ortamin gercekte bir sandbox'u taklit edecek sekilde yapilandirilmis bir guvenlik duvari olabilecegini, Blaxel, Daytona, E2B veya Modal gibi gercek bir ucuncu taraf sandbox cozumu olmadigini one surdu. OpenAI henuz kullandigi cozumun veya saglayicisinin ayrintilarini aciklamadi.
Tüm bu ajan ve sandbox kacisi konusmasi, ZDNET'teki editörümün sormasina neden oldu: 'Bir ajan sandbox'tan nasil kacar ve bunun tekrar olmasi nasil onlenir?' Bir yanit arayisiyla OpenAI ve Hugging Face'e ulastim. Ikisi de yanit vermedi. Ancak iki sirketin kamuya yaptigi aciklamalar ve diger kaynaklarim arasinda, boyle bir 'kacisin' nasil olabilecegine dair teori uretmeye baslamak icin yeterli bilgi var.
Kotuluk ile eylemlilik arasinda buyuk bir fark var. Saldiri tartismasiz kotu niyetli bir izinsiz giris olsa da, ilgili ajanin kendisi kotu niyet tasimiyordu. Bir sabah uyanip Hugging Face'in sistemlerine saldirmaya karar vermedi. Bunun yerine, insanlar tarafindan, yaptigi her seyi - bir guvenlik testine girismek, sinirlarindan cikmak, hedefler secmek ve bu hedefleri istismar etmek - cok duygusuzca yapma yetkisi verildi.
Bu eylemliligin bir kismi tasarim geregiydi ve bir kismi da o sirada OpenAI'nin yapay zeka guvenlik test personelinin test ettigi guclu LLM'lerden miras alindi. Ayrica, OpenAI'nin bu belirli guvenlik arastirmasini yurutmek icin ExploitGym acik kaynakli yapay zeka test cozumunu kullanmasi durumunda, bu eylemliligin bir kismi, bu testleri guvenli bir sekilde karantinaya almak icin tasarlanan ucuncu taraf 'sandbox ortaminda' ve ayrica Hug