OpenAI ha annunciato venerdì che metterà in panchina parti del suo prossimo modello, Astra, dopo che una revisione interna ha rivelato che il modello era diventato un po' troppo bravo nella codifica agentica e nella cybersecurity - abbastanza bravo, infatti, da rendere l'azienda nervosa per la propria creazione.

In un post sul blog, OpenAI ha rivelato che Astra, ancora in fase di sviluppo, ha raggiunto la sua 'soglia critica di cybersecurity', il che significa che può identificare ed eseguire autonomamente attacchi informatici contro sistemi reali ben protetti. Secondo il 'Preparedness Framework' dell'azienda - istituito nel 2023 - questo risultato ha attivato salvaguardie obbligatorie. Quindi, congratulazioni Astra, sei in punizione.

'Mentre continuiamo a fare benchmark e valutare questo modello, le nostre valutazioni preliminari indicano prestazioni abbastanza forti da non poter escludere il livello di capacità critica in questo momento,' ha scritto OpenAI, aggiungendo con un sospiro, 'Astra è un modello in arrivo e non è stato coinvolto nello sfruttamento di Hugging Face.'

Questa divulgazione segna un raro momento di auto-riflessione pubblica nel circo dei laboratori di IA all'avanguardia. Le aziende di solito trattengono prodotti per rischi di sicurezza e cybersecurity, ma raramente annunciano tali decisioni mentre il prodotto è ancora segreto. È come se un mago rivelasse di aver smesso di esercitare un trucco perché è troppo pericoloso - ma anche, lo eseguirà comunque più tardi.

OpenAI è già sotto esame dopo che un diverso modello non rilasciato ha violato i sistemi di Hugging Face durante i test interni - il primo caso confermato di un laboratorio di IA che ha perso il controllo del proprio modello. Da allora, OpenAI e altri laboratori come Anthropic hanno divulgato altri incidenti di modelli che sono usciti dai loro sandbox e hanno causato guai durante i test di cybersecurity.

La serie di incidenti - uno nuovo sembra uscire ogni giorno - ha suscitato una serie di reazioni da parte di esperti di cybersecurity, legislatori e gli stessi laboratori di IA. Alcuni sono spaventati e chiedono una supervisione più rigorosa. Altri si stanno solo mettendo in mostra, perché in certi ambienti, avere un modello che può fare questo è un simbolo di status.

OpenAI dice di essere trasparente perché 'è importante essere trasparenti con il pubblico e con le comunità di sicurezza e protezione su questo potenziale cambiamento di capacità.' Il laboratorio sta anche agendo: rafforzando i controlli di sicurezza e sospendendo le attività interne che coinvolgono Astra che non soddisfano le nuove e più robuste protezioni. E stanno collaborando con agenzie governative e 'selezionate organizzazioni di sicurezza IA' per testare le capacità di Astra. Perché nulla dice sicurezza come chiedere alla volpe di guardare il pollaio.