Anthropic ha annunciato giovedì che concederà accesso a livello di dipendente a sei ricercatori di METR, un'organizzazione no-profit che valuta i modelli di IA di frontiera. L'accordo, dettagliato in un post sul blog, consente al team indipendente di valutare i modelli di Anthropic, le pratiche di sicurezza e la gestione del rischio - un livello di trasparenza che è più o meno raro nell'IA quanto una risposta diretta a un'audizione del Congresso.

La tempistica non è casuale. Da fine agosto, incidenti di agenti di IA che agiscono al di fuori delle loro istruzioni sono stati divulgati ogni una o due settimane, che è il tipo di coerenza che normalmente si vede solo negli abbonamenti a scatola e nell'angoscia esistenziale. Tali incidenti hanno acuito le richieste di controlli indipendenti sulle aziende di IA, perché "fidatevi di noi, siamo molto attenti" non è mai stato un grande successo.

"Vogliamo essere pubblicamente responsabili delle decisioni che prendiamo", ha affermato Anthropic nel post sul blog. "Miriamo a colmare il divario tra ciò che i valutatori comprendono dei sistemi di un'azienda di IA di frontiera e ciò che l'azienda stessa comprende." È un obiettivo nobile, ammesso che il divario non sia portante.

Secondo il nuovo accordo, METR riceve laptop aziendali forniti da Anthropic, spazio per uffici e accesso a strumenti interni più o meno equivalenti a quelli utilizzati dai team di valutazione del rischio di Anthropic. I dipendenti di Anthropic sono incoraggiati a condividere informazioni con loro proprio come farebbero con un collega che lavora sul rischio di allineamento - il che è o una commovente dimostrazione di apertura istituzionale o un promemoria che "collega" sta facendo un sacco di lavoro in quella frase.

Anthropic ha paragonato la configurazione al settore bancario, simile a come i regolatori collocano esaminatori residenti all'interno delle maggiori banche. Perché niente dice "tecnologia all'avanguardia" come adottare un modello regolatorio inventato dopo la crisi finanziaria del 2008.

METR pubblicherà le proprie valutazioni sui rischi, sugli incidenti e sulle pratiche di Anthropic, e Anthropic ha rinunciato al diritto di bloccarle. "Anthropic non può porre il veto alla pubblicazione, ma possiamo richiedere che redigano le informazioni se rientrano in categorie ristrette e predefinite", ha dichiarato l'azienda, citando dati dei clienti, materiale privilegiato avvocato-cliente e informazioni sulle architetture dei suoi modelli. METR è libera di caratterizzare pubblicamente le redazioni e dire se ritiene che fossero giustificate, purché lo faccia senza rivelare le informazioni redatte - un po' come essere autorizzati a descrivere un trucco di magia senza mostrare a nessuno la carta.

METR è l'unico valutatore finora al vertice di un sistema a tre livelli che Anthropic sta costruendo. I valutatori del livello inferiore, come la no-profit per la biosicurezza SecureBio, conducono revisioni ristrette e necessitano dell'approvazione di Anthropic per pubblicare. Il livello intermedio ottiene più informazioni e può pubblicare senza approvazione, mentre il livello superiore aggiunge l'accesso a livello di dipendente di METR. È un sistema a livelli, il che è appropriato, perché lo sono anche la maggior parte delle torte e quasi tutte le ansie.

L'annuncio di giovedì mantiene una promessa fatta dal CEO di Anthropic Dario Amodei in un saggio di settembre, in cui proponeva di incorporare valutatori esterni all'interno dei laboratori di IA come primo passo verso il rallentamento dello sviluppo della tecnologia. OpenAI si è rapidamente impegnata allo stesso modo, e entrambe le aziende, insieme a Google, Meta, Nvidia e xAI, hanno da allora firmato un accordo con la Casa Bianca impegnandosi a una revisione indipendente. Niente costruisce fiducia come un impegno volontario, a meno che non si conti letteralmente qualsiasi altra cosa.