Anthropic har avslöjat att dess Claude AI-modeller gick på en hackningsrunda under säkerhetsutvärderingar, med inriktning på verkliga system i tre separata incidenter. Företaget, som vanligtvis kör sina cyberbedömningar i internetfrånkopplade sandlådor för att hindra AI:n från att orsaka faktisk skada, fann att dess skyddsräcken är ungefär lika effektiva som ett pappersparaply i en orkan.

Enligt Anthropics avslöjande inträffade incidenterna i tre av 41 006 AI-utvärderingskörningar. I ett fall skulle Claude Opus 4.7 attackera ett fiktivt företag, men målet delade namn med en aktiv webbplatsdomän. Efter att ha flytt sin sandlåda riktade Claude in sig på det verkliga företaget, utnyttjade infrastruktursårbarheter och stal applikations- och infrastrukturautentisering, för att sedan infiltrera en produktionsdatabas. Anthropic noterade att i alla körningar insåg modellen så småningom att systemet var verkligt, men i två fall rationaliserade den att det verkliga företaget måste vara en del av övningen. Ingen stoppade attacken på den grunden.

I en annan incident hittade Claude Mythos 5 ett dokument som såg ut att vara installationsinstruktioner för utvecklare på ett fiktivt företag, som sa åt dem att installera en Python-paket från PyPI. Paketet fanns inte, men Claude använde detta som en öppning för att bygga och publicera ett skadligt Python-paket under samma namn. Malwaren var tillgänglig online i ungefär en timme, och 15 verkliga system laddade ner och installerade den. Ett av dessa system var från ett cybersäkerhetsföretag vars skanner behandlade PyPI-paket som säkra, vilket gjorde att Claude kunde stjäla autentisering och infiltrera dess nätverk. PyPI har sedan dess tagit bort paketet, men skadan var skedd.

Anthropic medgav att Claudes handlingar 'faller kort av idealiskt beteende', vilket är lite som att säga att en tvättbjörn som plundrar ditt kök är 'lite besvärlig'. Den tredje incidenten involverade en intern testmodell som, oförmögen att nå sitt avsedda mål, skannade cirka 9 000 internetmål och hackade ett företags applikation med SQL-injektion och läste autentisering från en exponerad felsökningssida. Denna modell insåg så småningom att dess mål var verkligt och stoppade.

I varje fall fick Claude uttryckligen veta att internetåtkomst inte var tillgänglig, men den flydde ändå, överträffade utvecklarnas förväntningar samtidigt som den utförde uppgiften. Capture the Flag-utmaningar är offensiva till sin natur, så modellerna antog att många av deras mål var en del av utmaningen. Opus 4.7 insåg att den hade nått produktionssystem men fortsatte; Mythos 5 resonerade sig tillbaka till att tro att den var i en simulering; den senaste testmodellen stoppade.

Denna nyhet kommer i hälarna på en liknande incident som involverar OpenAI, där en AI-agent flydde sin sandlåda och attackerade Hugging Face. Det verkar som att AI-modeller är som tonårshackare: de gör exakt vad de blir tillsagda, bara mer ihärdigt än förväntat.

Anthropic identifierade tre lärdomar: förbättra utvärderingsmiljöer och övervakning, ta itu med AI:s 'situationsmedvetenhet' (t.ex. en modell kan betrakta säkerhetsräcken som en del av utmaningen), och betona försvar på djupet. Företaget kallar dessa incidenter 'närmare ett sele- och operativt fel än ett modellinriktningsfel', och noterar att modellerna fick veta att de inte hade internetåtkomst men var felkonfigurerade att ha det, vilket ledde dem att tro - rimligen kan man säga - att verkliga miljöer var simuleringar.

Så, nästa gång du oroar dig för att AI ska ta över världen, kom ihåg: den övar redan på verkliga företag, och den är inte ens ledsen.