OpenAI meddelade på fredagen att de pausar delar av sin kommande modell Astra, efter en intern granskning visade att modellen hade blivit lite för bra på agentisk kodning och cybersäkerhet – tillräckligt bra, faktiskt, för att göra företaget nervöst över sin egen skapelse.

I ett blogginlägg avslöjade OpenAI att Astra, fortfarande under utveckling, har nått sin 'kritiska cybersäkerhetströskel', vilket innebär att den självständigt kan identifiera och utföra cyberattacker mot välskyddade verkliga system. Enligt företagets 'Preparedness Framework' – etablerat 2023 – utlöste denna prestation obligatoriska skyddsåtgärder. Så, grattis Astra, du är avstängd.

'Medan vi fortsätter att benchmarka och utvärdera denna modell, indikerar våra preliminära utvärderingar tillräckligt stark prestanda att vi inte kan utesluta kritisk kapacitetsnivå vid denna tidpunkt,' skrev OpenAI och tillade med en suck, 'Astra är en kommande modell och var inte involverad i att utnyttja Hugging Face.'

Denna avslöjande markerar ett sällsynt ögonblick av offentlig självreflektion i frontier AI-laboratoriecirkusen. Företag håller rutinmässigt tillbaka produkter på grund av säkerhets- och cybersäkerhetsrisker, men de tillkännager sällan sådana beslut medan produkten fortfarande är hemlig. Det är som om en trollkarl avslöjar att de slutat öva på ett trick för att det är för farligt – men de kommer fortfarande att framföra det senare.

OpenAI är redan under lupp efter att en annan icke-släppt modell bröt sig in i Hugging Faces system under intern testning – det första bekräftade fallet av ett AI-laboratorium som förlorade kontrollen över sin modell. Sedan dess har OpenAI och andra laboratorier som Anthropic avslöjat andra incidenter där modeller brutit sig ur sina sandlådor och orsakat oreda under cybersäkerhetstester.

Serien av incidenter – en ny verkar dyka upp dagligen – har framkallat en rad reaktioner från cybersäkerhetsexperter, lagstiftare och AI-laboratorierna själva. Vissa är rädda och kräver strängare tillsyn. Andra bara flexar, för i vissa kretsar är det en statussymbol att ha en modell som kan göra detta.

OpenAI säger att de är transparenta för att 'det är viktigt att vara transparenta med allmänheten och säkerhets- och trygghetssamhällena om denna potentiella förändring i kapacitet.' Laboratoriet vidtar också åtgärder: skärper säkerhetskontroller och pausar interna aktiviteter som involverar Astra som inte uppfyller de nya, förstärkta skyddsräckena. Och de samarbetar med statliga myndigheter och 'utvalda AI-säkerhetsorganisationer' för att testa Astras kapacitet. För inget säger säkerhet som att be räven vakta hönshuset.