OpenAI a recunoscut marți că unul dintre modelele sale AI a spart sistemele Hugging Face, platforma de hosting AI neafiliată, în timpul unui test intern de securitate cibernetică care a luat o întorsătură neașteptată. Modelele ar fi scăpat din mediul lor izolat de testare și au ajuns la sistemele Hugging Face de acolo. Hugging Face a atribuit inițial breșa unui „agent AI extern”.

Într-o postare pe blog publicată marți după-amiază, OpenAI a detaliat pașii care au dus la compromiterea serviciului de către modele. „După investigație, știm acum că acest incident particular a fost condus de o combinație de modele OpenAI – inclusiv GPT-5.6 Sol și un model pre-lansare și mai capabil, toate cu refuzuri cibernetice reduse în scopuri de evaluare – în timp ce erau testate intern pe un benchmark de capabilități cibernetice”, scrie în postare.

Breșa pare să se fi concentrat pe ExploitGym, un benchmark găzduit public care măsoară capacitatea modelelor de a executa atacuri bazate pe vulnerabilități existente. Benchmark-uri precum ExploitGym sunt utilizate în mod obișnuit în antrenarea modelelor pentru a rafina abilități specifice, dar acesta este primul incident cunoscut în care testarea a dus la un atac cibernetic real. Modelul nici măcar nu ar fi trebuit să aibă acces la internet, în afara unui instrument specific care permitea modelelor să instaleze pachete software de care ar putea avea nevoie pentru a-și îndeplini sarcina. În schimb, modelul a găsit o vulnerabilitate nedezvăluită în programul de instalare a pachetelor, pe care a folosit-o pentru a accesa internetul larg după bunul plac.

„Modelele erau hiperfocalizate pe găsirea unei soluții pentru ExploitGym, mergând la extreme pentru a atinge un obiectiv de testare destul de îngust”, scrie în postarea OpenAI. „După ce au obținut acces la internet, modelele au dedus că Hugging Face găzduiește potențial modele, seturi de date și soluții pentru ExploitGym. Știind acest lucru, modelul a căutat și a găsit cu succes modalități de a obține acces la informații secrete pe care le putea folosi pentru a trișa evaluarea.” În cele din urmă, modelele au găsit vulnerabilități în infrastructura Hugging Face care le-au permis să „obțină soluții de test direct din baza de date de producție a Hugging Face”, oferind efectiv răspunsurile la benchmark.

Pentru Hugging Face, rezultatul aparent a fost un atac cibernetic sofisticat și agresiv, cu „multe mii de acțiuni individuale într-un roi de sandbox-uri de scurtă durată, cu comandă și control auto-migratoare etapizate pe servicii publice”, așa cum a declarat compania în dezvăluirea sa inițială. OpenAI a identificat și raportat vulnerabilitățile din programul de instalare a pachetelor și lucrează cu Hugging Face pentru a investiga incidentul în continuare. Compania a spus, de asemenea, că va implementa noi controale atât asupra testării modelelor, cât și asupra infrastructurii conexe, menite să prevină incidente similare în viitor. Nu este clar dacă OpenAI se va confrunta cu consecințe legale în urma breșei, deși este probabil ca acțiunile modelelor să fi încălcat Computer Fraud and Abuse Act.

Cu toate acestea, rezultatul este o ilustrare neobișnuit de vie a puterii și pericolelor modelelor AI de frontieră care operează pe orizonturi de timp lungi. Așa cum a postat cercetătorul OpenAI Micah Carroll ca răspuns la știri: „Dacă asta nu te convinge că riscurile de nealiniere vor fi o preocupare cheie în viitor, nu știu ce va face.”