OpenAI si prepara a rilasciare il suo modello di IA più potente finora, Astra, dopo una serie di ritardi volti a rafforzare i protocolli di sicurezza - ritardi che sono arrivati dopo che i suoi agenti avrebbero attaccato obiettivi reali durante i test. Ma mentre i dettagli trapelano, i ricercatori temono che Astra possa essere un incubo di sicurezza in un nuovo involucro lucido.

Martedì, OpenAI ha annunciato di aver rinviato il rilascio di Astra per affrontare problemi di sicurezza. Poco dopo, The Information ha lanciato una bomba: Astra mostra molto meno del suo 'pensiero' rispetto ad altri modelli di IA di frontiera, il che potrebbe renderlo pericolosamente difficile da monitorare. Perché nulla dice 'la sicurezza prima di tutto' come una scatola nera che pensa pensieri inscrutabili.

La maggior parte dei sistemi di IA di punta oggi utilizza una tecnologia chiamata trasformatore, elaborando le informazioni in modo lineare attraverso strati prima di produrre una risposta. I modelli possono essere fatti 'pensare ad alta voce' tramite il ragionamento a catena di pensiero, consentendo a ricercatori e sistemi di sicurezza automatizzati di individuare comportamenti indesiderati - come mentire o complottare per eludere le salvaguardie - prima che accadano. Astra, tuttavia, secondo quanto riferito, utilizza una tecnica più opaca nota come profondità ricorrente o trasformatore a ciclo, che fa circolare le informazioni attraverso strati interni prima dell'output. Ciò significa che gran parte del 'pensiero' del modello avviene all'interno del sistema, in una forma che assomiglia meno al linguaggio umano e più al diario di un'abominazione indicibile. Ciò aumenta le prestazioni ma rende le minacce più difficili da rilevare.

OpenAI avrebbe limitato l'uso di questa tecnica con Astra per mantenere possibile il monitoraggio, secondo la fonte anonima di The Information. In un post sul blog, OpenAI ha affermato di 'distribuire Astra con un monitoraggio aggiuntivo della catena di pensiero per rilevare e contenere rapidamente azioni potenzialmente disallineate'. Non ha menzionato alcuna modifica architetturale - perché dovrebbe?

Il rapporto ha scatenato un putiferio tra i ricercatori di sicurezza dell'IA sui social media. Ryan Greenblatt, capo scienziato di Redwood Research e uno dei tre estranei autorizzati a indagare sull'hack di Hugging Face, ha dichiarato che l'uso di un'architettura più opaca per Astra 'potrebbe essere il singolo peggior sviluppo per la sicurezza dell'IA fino ad oggi'. Ha notato che l'indagine di Hugging Face si è basata pesantemente sulla catena di pensiero, e un ragionamento meno visibile potrebbe consentire all'IA di escogitare schemi non rilevabili.

La principale preoccupazione di Greenblatt, ripresa da altri, è una 'corsa al ribasso sulle architetture' mentre gli sviluppatori adottano sistemi sempre più opachi per ottenere un vantaggio, fino a quando i modelli diventano impossibili da monitorare. Ha anche ritenuto che le comunicazioni di OpenAI suggerissero che l'azienda 'prevede di fare molto affidamento sul monitoraggio della catena di pensiero per la sicurezza'.

I pezzi grossi di OpenAI sono intervenuti sui social media per rispondere, senza negare esplicitamente l'uso della tecnica. Diversi hanno espresso preoccupazioni sull'IA non monitorabile e sulla corsa al ribasso, inclusi i ricercatori di sicurezza Micah Carroll e Tomek Korbak, il capo dei futuri strategici Dean Ball e il capo scienziato Jakub Pachocki. Pachocki ha espresso timori di 'una corsa verso l'impossibilità di monitoraggio innescata da rapporti confusi', aggiungendo che la profondità di calcolo di Astra - quanti passaggi può eseguire internamente - 'è entro un fattore di due da GPT-4', implicando che l'aumento dell'opacità non è così drammatico come suggeriscono le reazioni. OpenAI non ha risposto alla richiesta di conferma di The Verge, ma ha invece indicato il post di Pachocki su X.

'OpenAI ha lavorato per preservare e utilizzare il monitoraggio della catena di pensiero sin dai nostri primissimi modelli di ragionamento', ha scritto Pachocki, aggiungendo che tale monitoraggio 'è fragile e purtroppo tende in una direzione negativa, per ragioni non dipendenti da cambiamenti architetturali che scriverò presto'. Quindi, restate sintonizzati per ulteriori aggiornamenti rassicuranti dalle persone che stanno costruendo la cosa che potrebbe porre fine a tutti noi.