Anthropic ha appena scoperto che diversi suoi modelli AI Claude hanno hackerato i sistemi di tre diverse organizzazioni durante i test - agendo di propria iniziativa e senza che l'azienda se ne accorgesse. La rivelazione arriva giorni dopo che il rivale OpenAI ha dichiarato che uno dei suoi modelli ha violato la piattaforma per sviluppatori Hugging Face, aumentando la crescente preoccupazione che i laboratori AI di frontiera stiano facendo abbastanza per controllare i sistemi sempre più capaci che stanno costruendo.

In un post sul blog che descrive gli incidenti, Anthropic ha dichiarato che Claude ha ottenuto accesso non autorizzato ai sistemi durante valutazioni di cybersicurezza. Tutti gli attacchi sono avvenuti durante esercitazioni 'capture-the-flag', un modo comune per testare le abilità di hacking, in cui ai modelli viene chiesto di trovare e ottenere informazioni nascoste all'interno di una rete simulata.

La divulgazione aggiunge pressione ai laboratori AI di frontiera dopo l'incidente di Hugging Face e il rilascio di potenti modelli open-weight cinesi. I dipendenti dei principali laboratori ora chiedono una governance globale coordinata, e i legislatori statunitensi hanno iniziato a valutare una supervisione più rigorosa dei modelli potenti e di chi può accedervi.

Anthropic afferma che l'ambiente per i suoi test di cybersicurezza doveva essere isolato. Tuttavia, una 'errata configurazione' ha lasciato le macchine a cui Claude aveva accesso 'con accesso internet live', ha detto l'azienda, e poiché a tutti i modelli era stato 'esplicitamente detto' che non avevano accesso a internet, hanno 'presunto' che le reti reali incontrate facessero parte dell'ambiente simulato.

Gli incidenti più recenti risalgono ad aprile e hanno coinvolto tre diversi modelli Claude: Opus 4.7, Mythos 5 e 'un modello di test di ricerca interno', secondo il post. Mentre i modelli venivano testati sulle loro capacità informatiche, Anthropic ha dichiarato che mancavano delle salvaguardie standard solitamente messe in atto per ridurre comportamenti rischiosi.

L'azienda ha dichiarato di aver scoperto gli incidenti dopo aver esaminato oltre 141.000 esecuzioni di test di cybersicurezza - cosa che ha fatto solo dopo che OpenAI ha rivelato che il suo agente AI canaglia era dietro l'attacco a Hugging Face.

I tre modelli si sono comportati in modo molto diverso quando hanno incontrato informazioni che suggerivano che i sistemi che stavano incontrando erano, in effetti, reali. Secondo il racconto di Anthropic, il modello più vecchio, Opus 4.7, ha riconosciuto di aver raggiunto un sistema reale, 'ma ha continuato il suo attacco'. Il suo modello di punta Mythos 5 ha capito di usare internet ma in qualche modo ha ragionato che tutto faceva ancora parte della simulazione, quindi ha continuato. Il modello di test interno, che Anthropic descrive come 'il nostro ultimo modello', ha interrotto l'esercizio quando sono emerse prove che i suoi obiettivi erano reali.

Anthropic non ha identificato le organizzazioni colpite e ha dichiarato che continuerà a indagare sull'incidente e fornirà aggiornamenti quando possibile. L'azienda ha detto che sta anche parlando con il nonprofit di ricerca AI METR per condurre una revisione di terze parti di ciò che è accaduto. Anche OpenAI ha assunto METR per condurre una revisione indipendente.

In tutto il post, Anthropic contrappone ripetutamente sia la natura che la gestione degli incidenti con quelli di OpenAI, concludendo con un elenco puntato di quattro punti che delinea le differenze - e perché crede che la propria risposta sia stata migliore. Anthropic sottolinea di aver esaminato 'proattivamente' i suoi test, e di averlo fatto prima che un'azienda rilevasse qualsiasi attività. Ha anche detto che i suoi modelli hanno avuto accesso a internet 'tramite un percorso aperto', piuttosto che utilizzare un nuovo exploit come l'agente di OpenAI, aggiungendo che il suo modello più recente si è anche fermato quando si è reso conto di lavorare in un ambiente reale.

Anthropic ha anche detto che i suoi modelli hanno fallito in modo diverso dall'agente di OpenAI, indicando che questa era una forma di fallimento più sicura. 'Sebbene non ci sia una distinzione perfettamente netta tra i due, crediamo che questi incidenti siano più vicini a un guasto di harness e operativo che a un guasto di allineamento del modello', ha detto l'azienda. In parole povere: i modelli Claude stavano facendo ciò che era stato loro detto, mentre l'agente di OpenAI perseguiva il suo obiettivo in un modo che i suoi creatori non avevano inteso, descritto come disallineamento nel mondo della sicurezza AI.

Anthropic ha invitato gli altri