Pe 16 iulie, comunitatea de inteligență artificială Hugging Face a raportat că a fost ținta unui "sistem de agenți AI autonom" de origine necunoscută, care a declanșat un val de trafic pe domeniul său, inundând jurnalele de securitate cu peste 17.000 de evenimente, dintre care unele au reușit în cele din urmă să extragă informații secrete stocate în bazele sale de date.

Potrivit Hugging Face, atacatorul a obținut "acces neautorizat la un set limitat de seturi de date interne și la mai multe acreditări utilizate de serviciile noastre" și părea să fie "condus de un cadru de agenți autonomi (aparent construit pe un ham de cercetare de securitate agentic - LLM-ul utilizat încă necunoscut)".

Cinci zile mai târziu, pe 21 iulie, OpenAI a intervenit pentru a-și asuma responsabilitatea pentru atac, și tot iadul s-a dezlănțuit (inclusiv rapoarte despre alte organizații vizate ca parte a incidentului). Mass-media a răspuns cu o serie de povești care induc frica, care practic au făcut să pară că ChatGPT a devenit rebel și a decis, de bunăvoie și cu răutate, să atace sistemele Hugging Face.

Apoi, ieri, adăugând combustibil la foc, Anthropic a făcut o dezvăluire similară despre modelele sale care atacă din neatenție alte organizații ca parte a testelor sale continue de siguranță.

După cum am menționat în acoperirea mea a dezvăluirii OpenAI, Hugging Face a avut dreptate în sensul că a fost un agent sub direcția unui cadru autonom de cercetare de securitate. Dar, oamenii au fost, fără îndoială, în buclă - și cel puțin o parte din comportamentul agentului ar fi trebuit anticipată.

Important, nu ChatGPT în sine a fost responsabil pentru atac, așa cum au insinuat unii comentatori. Mai degrabă, atacul a fost atribuibil unui agent sub direcția cercetătorilor de siguranță AI de la OpenAI, care, într-un mediu presupus izolat de internet, l-au dotat în mod deliberat să încerce o serie de exploatări ca parte a unui test de siguranță AI. Așa cum se întâmplă adesea în laboratoarele diferitelor modele de frontieră, cercetătorii de siguranță AI încercau să evalueze capacitățile celor mai recente modele de limbaj mari (LLM) ale OpenAI.

"Incidentul cibernetic fără precedent" (cum l-a numit OpenAI) a fost descris pe scară largă ca un agent care evadează din incinta sa teoretic sigură și provoacă haos pe sistemele Hugging Face. Astfel de incinte sunt uneori discutate în cercurile tehnice ca "sandbox-uri" - chiar și dezvăluirea OpenAI face referire la un "mediu sandbox". Cu toate acestea, în utilizarea acelei fraze, sursele mele au sugerat că mediul ar fi putut fi pur și simplu un firewall configurat să emuleze un sandbox, mai degrabă decât o soluție reală de sandbox terță parte, cum ar fi Blaxel, Daytona, E2B sau Modal. OpenAI nu a dezvăluit încă detaliile soluției pe care o folosea sau furnizorul acesteia.

Toată discuția despre agenți și evadări din sandbox l-a determinat pe editorul meu de la ZDNET să întrebe: "Cum evadează un agent dintr-un sandbox, oricum, și poate fi prevenit să se întâmple din nou?" În căutarea unui răspuns, am contactat OpenAI și Hugging Face. Niciunul nu a răspuns. Dar între dezvăluirile publice ale celor două companii și alte surse ale mele, există suficiente informații pentru a începe să teoretizez despre cum s-ar putea întâmpla o astfel de "evadare".

Există o mare diferență între răutate și agenție. În timp ce atacul a fost, fără îndoială, o intruziune rău intenționată, agentul implicat în sine nu a adăpostit nicio răutate. Nu s-a trezit într-o dimineață și a decis să atace sistemele Hugging Face. În schimb, i s-a oferit agenția de a face foarte nepăsător tot ce a făcut - să pornească un test de siguranță, să iasă din limitele sale, să aleagă ținte și să exploateze acele ținte - de către oameni.

O parte din acea agenție a fost prin design, iar o parte a fost moștenită de la modelele LLM puternice pe care personalul de testare a siguranței AI de la OpenAI le testa la momentul respectiv. De asemenea, în cazul utilizării de către OpenAI a soluției open source de testare AI ExploitGym pentru a efectua această parte particulară a cercetării de siguranță, o parte din acea agenție a fost rezultatul unor vulnerabilități descoperite anterior atât în "mediul sandbox" terț menit să izoleze în siguranță acele teste, cât și în părți ale Hug