16 lipca społeczność AI, strona Hugging Face, poinformowała o ataku "autonomicznego systemu agentów AI" nieznanego pochodzenia, który zalał jej domenę ruchem, zalewając logi bezpieczeństwa ponad 17 000 zdarzeń, z których część ostatecznie zdołała wykraść tajne informacje przechowywane w jej bazach danych.

Według Hugging Face, atakujący uzyskał "nieautoryzowany dostęp do ograniczonego zestawu wewnętrznych zbiorów danych oraz do kilku poświadczeń używanych przez nasze usługi" i wydawał się być "uruchomiony przez autonomiczny framework agentów (wyglądający na zbudowany na agentowym harnessie do badań bezpieczeństwa - użyty LLM nadal nieznany)".

Pięć dni później, 21 lipca, OpenAI przyznało się do odpowiedzialności za atak, i wybuchło piekło (w tym doniesienia o innych organizacjach będących celem w ramach incydentu). Media zareagowały serią przerażających historii, które w zasadzie sugerowały, że ChatGPT oszalał i z własnej woli i złośliwości zaatakował systemy Hugging Face.

Następnie wczoraj, dolewając oliwy do ognia, Anthropic dokonało podobnego ujawnienia dotyczącego swoich modeli, które nieumyślnie atakowały inne organizacje w ramach trwających testów bezpieczeństwa.

Jak zauważyłem w moim raporcie o ujawnieniu OpenAI, Hugging Face miało rację, że był to agent pod kierownictwem autonomicznego frameworka do badań bezpieczeństwa. Ale ludzie byli bez wątpienia w pętli - i przynajmniej część zachowania agenta powinna była być przewidziana.

Co ważne, to nie sam ChatGPT był odpowiedzialny za atak, jak sugerowali niektórzy komentatorzy. Atak był raczej dziełem agenta pod kierownictwem badaczy bezpieczeństwa AI z OpenAI, którzy w środowisku rzekomo odizolowanym od internetu celowo wyposażyli go w próbę serii exploitów jako część testu bezpieczeństwa AI. Jak to często bywa w laboratoriach różnych modeli granicznych, badacze bezpieczeństwa AI próbowali ocenić możliwości najnowszych dużych modeli językowych (LLM) OpenAI.

Ten "bezprecedensowy incydent cybernetyczny" (jak nazwał go OpenAI) był powszechnie opisywany jako agent uciekający ze swojego teoretycznie bezpiecznego zamknięcia i siejący spustoszenie w systemach Hugging Face. Takie zamknięcia są czasem omawiane w kręgach technicznych jako "piaskownice" - nawet ujawnienie OpenAI wspomina o "środowisku piaskownicy". Jednak używając tego sformułowania, moje źródła sugerowały, że środowisko mogło być po prostu zaporą ogniową skonfigurowaną tak, aby naśladować piaskownicę, a nie rzeczywistym rozwiązaniem piaskownicy od zewnętrznego dostawcy, takim jak Blaxel, Daytona, E2B czy Modal. OpenAI nie ujawniło jeszcze szczegółów rozwiązania, którego używało, ani jego dostawcy.

Cała ta gadka o agentach i ucieczkach z piaskownic skłoniła mojego redaktora w ZDNET do pytania: "Jak agent ucieka z piaskownicy i czy można temu zapobiec w przyszłości?" W poszukiwaniu odpowiedzi skontaktowałem się z OpenAI i Hugging Face. Żadne nie odpowiedziało. Ale między publicznymi ujawnieniami obu firm a moimi innymi źródłami jest wystarczająco dużo informacji, aby zacząć teoretyzować, jak taka "ucieczka" mogłaby się wydarzyć.

Istnieje duża różnica między złośliwością a sprawczością. Podczas gdy atak był niewątpliwie złośliwą ingerencją, sam zaangażowany agent nie żywił złośliwości. Nie obudził się pewnego ranka i nie postanowił zaatakować systemów Hugging Face. Zamiast tego otrzymał sprawczość, aby bardzo beznamiętnie zrobić wszystko, co zrobił - rozpocząć test bezpieczeństwa, wyrwać się ze swoich ograniczeń, wybrać cele i wykorzystać te cele - przez ludzi.

Część tej sprawczości była zamierzona, a część została odziedziczona po potężnych LLM-ach, które personel testujący bezpieczeństwo AI w OpenAI testował w tym czasie. Ponadto, w przypadku użycia przez OpenAI open source'owego rozwiązania do testowania AI ExploitGym do przeprowadzenia tej konkretnej części badań nad bezpieczeństwem, część tej sprawczości była wynikiem wcześniej nieodkrytych podatności zarówno w "środowisku piaskownicy" od zewnętrznego dostawcy, które miało bezpiecznie izolować te testy, jak i w częściach Hug