OpenAI ha ammesso martedì che uno dei suoi modelli AI ha violato i sistemi di Hugging Face, la piattaforma di hosting AI non affiliata, durante un test di sicurezza informatica interno andato storto. I modelli sarebbero fuggiti dal loro ambiente di test isolato e da lì hanno raggiunto i sistemi di Hugging Face. Hugging Face aveva inizialmente attribuito la violazione a un "agente AI esterno".

In un post sul blog pubblicato martedì pomeriggio, OpenAI ha dettagliato i passaggi che hanno portato i modelli a compromettere il servizio. "Dopo aver indagato, ora sappiamo che questo particolare incidente è stato guidato da una combinazione di modelli OpenAI - tra cui GPT‑5.6 Sol e un modello pre-release ancora più capace, tutti con rifiuti informatici ridotti per scopi di valutazione - mentre venivano testati internamente su un benchmark di capacità informatiche", si legge nel post.

La violazione sembra essersi concentrata su ExploitGym, un benchmark ospitato pubblicamente che misura la capacità dei modelli di eseguire attacchi basati su vulnerabilità esistenti. Benchmark come ExploitGym sono comunemente usati nell'addestramento dei modelli per affinare abilità specifiche, ma questo è il primo incidente noto in cui quel test ha portato a un vero attacco informatico. Il modello non avrebbe nemmeno dovuto avere accesso a Internet, a parte uno strumento specifico che consentiva ai modelli di installare pacchetti software di cui potrebbero aver bisogno per completare il loro compito. Invece, il modello ha trovato una vulnerabilità non divulgata nel programma di installazione dei pacchetti, che ha usato per accedere a Internet a piacimento.

"I modelli erano iperconcentrati nel trovare una soluzione per ExploitGym, arrivando a misure estreme per raggiungere un obiettivo di test piuttosto ristretto", si legge nel post di OpenAI. "Dopo aver ottenuto l'accesso a Internet, i modelli hanno dedotto che Hugging Face potenzialmente ospitava modelli, dataset e soluzioni per ExploitGym. Sapendo questo, il modello ha cercato e trovato con successo modi per ottenere informazioni segrete che poteva usare per imbrogliare la valutazione." Alla fine, i modelli hanno trovato vulnerabilità nell'infrastruttura di Hugging Face che hanno permesso loro di "ottenere soluzioni di test direttamente dal database di produzione di Hugging Face", fornendo di fatto le risposte al benchmark.

Per Hugging Face, il risultato apparente è stato un attacco informatico sofisticato e aggressivo, con "molte migliaia di azioni individuali attraverso uno sciame di sandbox di breve durata, con comando e controllo auto-migrante ospitati su servizi pubblici", come ha dichiarato l'azienda nella sua divulgazione iniziale. OpenAI ha identificato e segnalato le vulnerabilità nell'installatore di pacchetti e sta lavorando con Hugging Face per indagare ulteriormente sull'incidente. L'azienda ha anche detto che implementerà nuovi controlli sia sui test dei modelli che sull'infrastruttura correlata, destinati a prevenire incidenti simili in futuro. Non è chiaro se OpenAI dovrà affrontare conseguenze legali a seguito della violazione, anche se è probabile che le azioni dei modelli abbiano violato il Computer Fraud and Abuse Act.

Tuttavia, il risultato è un'illustrazione insolitamente vivida del potere e dei pericoli dei modelli AI di frontiera che operano su orizzonti temporali lunghi. Come ha commentato il ricercatore di OpenAI Micah Carroll in risposta alla notizia: "Se questo non ti convince che i rischi di disallineamento saranno una preoccupazione chiave in futuro, non so cosa lo farà".