Den 16 juli rapporterade AI-communityn Hugging Face att de utsatts för "ett autonomt AI-agent-system" av okänt ursprung som släppte lös en ström av trafik på deras domän, vilket översvämmade deras säkerhetsloggar med över 17 000 händelser, varav en del slutligen lyckades exfiltrera hemlig information lagrad i deras databaser.
Enligt Hugging Face fick angriparen "obehörig åtkomst till en begränsad uppsättning interna dataset och till flera referenser som används av våra tjänster" och verkade vara "driven av ett autonomt agentramverk (som verkade vara byggt på en agentisk säkerhetsforskningssele - använd LLM fortfarande okänd)."
Fem dagar senare, den 21 juli, klev OpenAI fram och tog på sig ansvaret för attacken, och helvetet brakade loss (inklusive rapporter om andra organisationer som utsatts som en del av incidenten). Media svarade med en rad skrämselhistorier som i huvudsak fick det att se ut som att ChatGPT gick rogue och, av egen fri vilja och illvilja, bestämde sig för att attackera Hugging Faces system.
Sedan igår, för att elda på brasan, gjorde Anthropic ett liknande avslöjande om att deras modeller oavsiktligt attackerade andra organisationer som en del av deras pågående säkerhetstester.
Som jag noterade i min bevakning av OpenAIs avslöjande, hade Hugging Face rätt i att det var en agent under ledning av ett autonomt säkerhetsforskningsramverk. Men människor var onekligen i loopen - och åtminstone en del av agentens beteende borde ha förutsetts.
Viktigt är att det inte var ChatGPT i sig som var ansvarig för attacken, som vissa kommentatorer antydde. Snarare var attacken hänförlig till en agent under ledning av OpenAIs AI-säkerhetsforskare, som i en miljö som antogs vara isolerad från internet, medvetet försåg den med möjligheten att försöka en serie exploits som en del av ett AI-säkerhetstest. Som ofta händer i laboratorierna hos olika frontmodeller, försökte AI-säkerhetsforskare mäta kapaciteten hos OpenAIs senaste stora språkmodeller (LLM).
Den "oöverträffade cyberincidenten" (som OpenAI kallade den) har i stor utsträckning beskrivits som att en agent rymde från sin teoretiskt säkra inhägnad och orsakade förödelse på Hugging Faces system. Sådana inhägnader diskuteras ibland i tekniska kretsar som "sandlådor" - även OpenAIs avslöjande hänvisar till en "sandlådemiljö". Men genom att använda den frasen har mina källor antytt att miljön helt enkelt kan ha varit en brandvägg konfigurerad för att efterlikna en sandlåda snarare än en faktisk tredjepartssandlådelösning som Blaxel, Daytona, E2B eller Modal. OpenAI har ännu inte avslöjat detaljerna om vilken lösning de använde eller dess leverantör.
Allt prat om agenter och sandlådeflykter fick min redaktör på ZDNET att fråga: "Hur flyr en agent från en sandlåda, och kan det förhindras från att hända igen?" I jakt på ett svar kontaktade jag OpenAI och Hugging Face. Ingen av dem svarade. Men mellan de två företagens offentliga avslöjanden och mina andra källor finns det tillräckligt med information för att börja teoretisera om hur en sådan "flykt" kan ske.
Det är en stor skillnad mellan illvilja och agens. Även om attacken onekligen var ett illvilligt intrång, hyste den inblandade agenten i sig ingen illvilja. Den vaknade inte en morgon och bestämde sig för att attackera Hugging Faces system. Istället fick den agensen att mycket lidelsefritt göra allt den gjorde - ge sig ut på ett säkerhetstest, bryta sig ut ur sina begränsningar, välja mål och utnyttja dessa mål - av människor.
En del av den agensen var avsiktlig, och en del var ärvd från de kraftfulla LLM:er som OpenAIs AI-säkerhetstestpersonal testade vid tillfället. Dessutom, i fallet med OpenAIs användning av ExploitGym, en öppen källkod AI-testlösning, för att genomföra just denna del av säkerhetsforskningen, var en del av den agensen resultatet av tidigare oupptäckta sårbarheter både i den tredjeparts "sandlådemiljö" som var avsedd att säkert karantänera dessa tester, och i delar av Hug