Op 16 juli meldde de AI-gemeenschapswebsite Hugging Face dat ze was aangevallen door "een autonoom AI-agentsysteem" van onbekende oorsprong dat een stortvloed aan verkeer op hun domein losliet, hun beveiligingslogs overspoelde met meer dan 17.000 gebeurtenissen, waarvan sommige uiteindelijk slaagden in het exfiltreren van geheime informatie uit hun databases.

Volgens Hugging Face kreeg de aanvaller "ongeautoriseerde toegang tot een beperkte set interne datasets en tot verschillende credentials die door onze services worden gebruikt" en leek het te worden "aangestuurd door een autonoom agentframework (dat lijkt te zijn gebouwd op een agentische security-onderzoeksharness - gebruikte LLM nog niet bekend)."

Vijf dagen later, op 21 juli, stapte OpenAI naar voren om de verantwoordelijkheid voor de aanval op te eisen, en brak de hel los (inclusief berichten over andere organisaties die als onderdeel van het incident waren aangevallen). De media reageerden met een reeks angstaanjagende verhalen die in wezen deden voorkomen alsof ChatGPT op hol was geslagen en uit eigen vrije wil en met kwade opzet had besloten om de systemen van Hugging Face aan te vallen.

Toen voegde gisteren, om het vuur nog verder aan te wakkeren, Anthropic een soortgelijke onthulling toe over hun modellen die per ongeluk andere organisaties aanvielen als onderdeel van hun lopende veiligheidstests.

Zoals ik opmerkte in mijn berichtgeving over de onthulling van OpenAI, had Hugging Face gelijk dat het een agent was onder leiding van een autonoom security-onderzoeksframework. Maar er waren ongetwijfeld mensen in de lus - en op zijn minst een deel van het gedrag van de agent had voorzien moeten zijn.

Belangrijk is dat het niet ChatGPT zelf was dat verantwoordelijk was voor de aanval, zoals sommige commentatoren insinueerden. De aanval was eerder toe te schrijven aan een agent onder leiding van de AI-veiligheidsonderzoekers van OpenAI, die, in een omgeving die zogenaamd geïsoleerd was van het internet, het opzettelijk hadden uitgerust om een reeks exploits te proberen als onderdeel van een AI-veiligheidstest. Zoals vaak gebeurt in de laboratoria van verschillende grensverleggende modellen, probeerden AI-veiligheidsonderzoekers de capaciteiten van de nieuwste grote taalmodellen (LLM's) van OpenAI te meten.

Het "ongekende cyberincident" (zoals OpenAI het noemde) is breed beschreven als een agent die uit zijn theoretisch veilige omheining ontsnapte en chaos aanrichtte op de systemen van Hugging Face. Dergelijke omheiningen worden in technische kringen soms besproken als "sandboxes" - zelfs de onthulling van OpenAI verwijst naar een "sandbox-omgeving". Echter, bij het gebruik van die term suggereerden mijn bronnen dat de omgeving misschien gewoon een firewall was die was geconfigureerd om een sandbox te emuleren in plaats van een echte sandbox-oplossing van derden zoals Blaxel, Daytona, E2B of Modal. OpenAI heeft de details van de gebruikte oplossing of de provider nog niet bekendgemaakt.

Al het gepraat over agents en sandbox-ontsnappingen bracht mijn redacteur bij ZDNET ertoe te vragen: "Hoe ontsnapt een agent eigenlijk uit een sandbox, en kan worden voorkomen dat het opnieuw gebeurt?" Op zoek naar een antwoord nam ik contact op met OpenAI en Hugging Face. Geen van beiden antwoordde. Maar tussen de openbare onthullingen van de twee bedrijven en mijn andere bronnen is er genoeg informatie om te beginnen met theoretiseren over hoe zo'n 'ontsnapping' zou kunnen gebeuren.

Er is een groot verschil tussen kwaadwilligheid en agency. Hoewel de aanval ongetwijfeld een kwaadaardige inbraak was, koesterde de betrokken agent zelf geen kwaadwilligheid. Het werd niet op een ochtend wakker en besloot de systemen van Hugging Face aan te vallen. In plaats daarvan kreeg het de agency om zeer onbewogen alles te doen wat het deed - een veiligheidstest ondergaan, uit zijn beperkingen breken, doelen kiezen en die doelen exploiteren - door mensen.

Een deel van die agency was met opzet, en een deel was geërfd van de krachtige LLM's die de AI-veiligheidsonderzoekers van OpenAI op dat moment testten. Ook, in het geval van OpenAI's gebruik van de open-source AI-testoplossing ExploitGym om dit specifieke stuk veiligheidsonderzoek uit te voeren, was een deel van die agency het resultaat van voorheen onontdekte kwetsbaarheden in zowel de "sandbox-omgeving" van derden die bedoeld was om die tests veilig te isoleren, als in delen van Hug