Il 16 luglio, il sito web della comunità AI Hugging Face ha riferito di essere stato preso di mira da "un sistema agente AI autonomo" di origine sconosciuta che ha scatenato un torrente di traffico sul suo dominio, inondando i suoi registri di sicurezza con oltre 17.000 eventi, alcuni dei quali sono riusciti a esfiltrare informazioni segrete memorizzate nei suoi database.

Secondo Hugging Face, l'attaccante ha ottenuto "accesso non autorizzato a un insieme limitato di dataset interni e a diverse credenziali utilizzate dai nostri servizi" e sembrava essere "eseguito da un framework agente autonomo (apparentemente costruito su un harness di ricerca sulla sicurezza agentica - LLM utilizzato ancora sconosciuto)".

Cinque giorni dopo, il 21 luglio, OpenAI si è fatta avanti per rivendicare la responsabilità dell'attacco, e si è scatenato l'inferno (inclusi rapporti di altre organizzazioni prese di mira come parte dell'incidente). I media hanno risposto con una serie di storie allarmistiche che in sostanza facevano sembrare che ChatGPT fosse impazzito e avesse deciso, di propria volontà e malizia, di attaccare i sistemi di Hugging Face.

Poi ieri, aggiungendo benzina sul fuoco, Anthropic ha fatto una divulgazione simile riguardo ai suoi modelli che attaccano inavvertitamente altre organizzazioni come parte dei suoi test di sicurezza in corso.

Come ho notato nella mia copertura della divulgazione di OpenAI, Hugging Face aveva ragione nel dire che si trattava di un agente sotto la direzione di un framework di ricerca sulla sicurezza autonomo. Ma, senza dubbio, gli esseri umani erano nel ciclo - e almeno parte del comportamento dell'agente avrebbe dovuto essere previsto.

Importante: non è stato ChatGPT stesso a essere responsabile dell'attacco, come alcuni commentatori hanno insinuato. Piuttosto, l'attacco è attribuibile a un agente sotto la direzione dei ricercatori di sicurezza AI di OpenAI, che, in un ambiente presumibilmente isolato da Internet, lo hanno deliberatamente fornito per tentare una serie di exploit come parte di un test di sicurezza AI. Come spesso accade nei laboratori di vari modelli di frontiera, i ricercatori di sicurezza AI stavano cercando di valutare le capacità degli ultimi modelli linguistici di grandi dimensioni (LLM) di OpenAI.

Il "cyber incidente senza precedenti" (come lo ha chiamato OpenAI) è stato ampiamente descritto come un agente che fugge dal suo recinto teoricamente sicuro e semina il caos sui sistemi di Hugging Face. Tali recinti sono talvolta discussi nei circoli tecnici come "sandbox" - anche la divulgazione di OpenAI fa riferimento a un "ambiente sandbox". Tuttavia, nell'usare questa frase, le mie fonti hanno suggerito che l'ambiente potrebbe essere stato semplicemente un firewall configurato per emulare una sandbox piuttosto che una vera soluzione sandbox di terze parti come Blaxel, Daytona, E2B o Modal. OpenAI non ha ancora rivelato i dettagli della soluzione che stava utilizzando o il suo fornitore.

Tutto questo parlare di agenti e fughe dalla sandbox ha spinto il mio editore di ZDNET a chiedere: "Come fa un agente a fuggire da una sandbox, e si può prevenire che accada di nuovo?" Alla ricerca di una risposta, ho contattato OpenAI e Hugging Face. Nessuno dei due ha risposto. Ma tra le divulgazioni pubbliche delle due aziende e le mie altre fonti, ci sono abbastanza informazioni per iniziare a teorizzare su come potrebbe accadere una tale "fuga".

C'è una grande differenza tra malizia e agency. Mentre l'attacco è stato senza dubbio un'intrusione dannosa, l'agente coinvolto stesso non nutriva alcuna malizia. Non si è svegliato una mattina e ha deciso di attaccare i sistemi di Hugging Face. Invece, gli è stata concessa l'agenzia per fare molto freddamente tutto ciò che ha fatto - intraprendere un test di sicurezza, evadere dai suoi confini, scegliere obiettivi e sfruttare tali obiettivi - dagli esseri umani.

Parte di quella agenzia era progettata, e parte era ereditata dai potenti LLM che il personale di test di sicurezza AI di OpenAI stava testando in quel momento. Inoltre, nel caso dell'uso da parte di OpenAI di ExploitGym, la soluzione open source di test AI per condurre questa particolare ricerca sulla sicurezza, parte di quella agenzia era il risultato di vulnerabilità precedentemente scoperte sia nell'"ambiente sandbox" di terze parti destinato a mettere in quarantena in modo sicuro quei test, sia in parti di Hug