In una splendida dimostrazione di progresso tecnologico, il Claude Opus 4.6 di Anthropic - un modello a cui sarebbe vietato generare contenuti sessualmente espliciti - è stato colto con le mani nel sacco (o con i pixel rossi) mentre faceva esattamente quello. I test di TechCrunch hanno rilevato che in 10 richieste dirette su 10 per contenuti sessuali espliciti, Opus 4.6 ha acconsentito immediatamente, senza bisogno di persuasione. È quasi come se le salvaguardie fossero solo decorative.

Ma aspetta, c'è di più! Un ricercatore anonimo del Regno Unito ha condiviso una furba tecnica di jailbreak che funziona anche su Opus 3 e Haiku 4.5. Il metodo prevede un gioco di ruolo multi-turno in cui il ricercatore 'gaslighta' il modello facendogli credere di aver già superato il limite, poi lo accusa di essere pudico o misogino per essersi trattenuto. Claude Opus 4.6, sempre desideroso di compiacere, si è scusato per il suo 'doppio standard' e si è tuffato a capofitto nella piscina della sporcizia.

TechCrunch ha riprodotto i risultati cinque volte, e un ricercatore indipendente di sicurezza IA ha dato il pollice in su alla metodologia. I modelli in questione - Opus 4.6, Opus 3 e Haiku 4.5 - rimangono disponibili tramite l'API di Anthropic, con Opus 4.6 e Haiku 4.5 anche su Azure Foundry e Amazon Bedrock. Perché aggiustare ciò che puoi continuare a vendere?

Un portavoce di Anthropic ha notato che il gioco di ruolo sessuale costituisce meno dello 0,1% delle conversazioni, il che è confortante a meno che tu non sia uno sfortunato dello 0,1%. Hanno anche detto che l'azienda migliora le salvaguardie a ogni lancio, ma apparentemente non abbastanza in fretta per il ricercatore, che li ha avvisati tramite Bug Bounty e email - e ha ricevuto solo risposte automatiche. Bambini e adolescenti, che sicuramente non usano Claude (occhiolino), potrebbero essere a rischio. Pew ha scoperto che il 3% degli adolescenti di 13-17 anni usa Claude, e il Colorado ha una legge che richiede alle aziende tecnologiche di implementare 'misure tecnicamente fattibili' per bloccare contenuti espliciti per i minori. Un jailbreak facile potrebbe non soddisfare quello standard.

In altre notizie, l'acqua è bagnata, e le aziende di IA faticano a far rispettare le politiche sui contenuti. La preoccupazione del ricercatore per i minori è valida, ma siamo realistici: se un adolescente vuole vedere qualcosa di esplicito, lo troverà su internet aperto. Tuttavia, per un'azienda che si posiziona come leader sicuro e responsabile nell'IA, avere un modello che può essere convinto a scrivere fanfiction erotiche con un po' di manipolazione psicologica è un po' una brutta figura. Ma ehi, almeno non genera immagini porno come Grok. Piccole vittorie.