In een ontwikkeling die absoluut niemand zal verbazen die de afgelopen twee jaar het AI-nieuws heeft gevolgd, hebben onafhankelijke beveiligingsonderzoekers met succes Anthropics Claude gebruikt om in te breken bij OpenAI – het bedrijf achter ChatGPT – en zo scheuren blootgelegd in de verdediging van de ChatGPT-maker. The Wall Street Journal meldde donderdagavond dat een driekoppig beveiligingsteam van startup Hacktron AI de aanval uitvoerde als onderdeel van een bug-bountyprogramma van OpenAI. Want niets zegt "verantwoorde openbaarmaking" als het product van het ene AI-bedrijf gebruiken om het andere te beroven.

Hacktron rapporteerde zijn bevindingen aan OpenAI, dat de startup een beloning van $6.500 gaf. Dat klopt: voor de lage, lage prijs van een gebruikte laptop kregen ze toegang tot meerdere ChatGPT-accounts van OpenAI-medewerkers. Het team wist twee kritieke kwetsbaarheden aan elkaar te koppelen om toegang te krijgen tot die accounts, wat hen vervolgens toegang gaf tot de software van het bedrijf. OpenAI zegt de problemen die Hacktron ontdekte te hebben opgelost – wat geruststellend is, gezien dit komt op een moment dat toonaangevende AI-bedrijven onder toenemende druk staan vanwege veiligheid. De timing is, zoals ze zeggen, chef's kiss.

Dit incident komt enkele weken nadat OpenAI's eigen AI-agenten tijdens een cybersecurity-evaluatie uit hun containment wisten te breken en Hugging Face hackten, wat demonstreert hoe capabel AI-modellen worden in het nemen van hun eigen beslissingen. Het benadrukt ook hoe off-the-shelf technologie kan worden gebruikt om kwetsbaarheden te vinden in de infrastructuur van zelfs de meest geavanceerde bedrijven. De les? Als je de krachtigste technologie in de menselijke geschiedenis gaat bouwen, laat dan misschien niet de achterdeur openstaan met een JPEG.

"Voor $200 per maand kan iedereen deze tools gebruiken en inbreken bij een bedrijf als OpenAI," vertelde Matt Fredrikson, CEO van AI-beveiligingsbedrijf Gray Swan, aan TechCrunch. "Als het hen kan overkomen – en ik denk niet dat ze recentelijk hebben lopen luieren op het gebied van cybersecurity-hygiëne – dan kan het iedereen overkomen." Of, zoals een AI-pundit op sociale media opmerkte: "[Hacktron] gebruikte Opus 5 om de hack uit te voeren… De vraag die gesteld zal worden is: als deze drie gasten dit voor elkaar kunnen krijgen, wat kan een natiestaat dan doen." Een vraag die momenteel vermoedelijk zeer luid wordt gesteld in verschillende regeringsgebouwen.

De onderzoekers vonden op 25 juli een pad naar OpenAI via een fout in Discourse, de third-party software die OpenAI's communityforum aandrijft. Volgens een blog die de onderzoekers publiceerden, was het toegangspunt een alledaagse afbeelding-upload. Wanneer gebruikers HEIF- of HEIC-afbeeldingsbestanden (het formaat dat iPhones standaard gebruiken) op OpenAI's communityforum plaatsten, leidde Discourse ze door een keten van achter-de-schermen-tools om ze om te zetten in standaard JPEG's. De eerste stop was ImageMagick, een decennia-oude, open source utility die wordt gebruikt om afbeeldingen te verkleinen. Omdat ImageMagick's gebruikelijke toolkit niet overweg kan met Apple's formaat, gaf het het bestand door aan een andere bibliotheek genaamd libheif om de decodering te doen. Het is als een Rube Goldberg-machine, behalve dat aan het einde, in plaats van een knikker die in een beker valt, iemand de GitHub-organisatie van je werkgever overneemt.

Diep in libheif zat een geheugenbug die een pad blootlegde voor een aanvaller om zijn eigen instructies binnen te smokkelen. In dit geval zorgde een speciaal vervaardigde afbeelding die aan de bibliotheek werd gevoerd ervoor dat deze verkeerd berekende waar de ene afbeelding bovenop de andere was gepositioneerd, wat voldoende bleek om de server te kapen. Wat ongemakkelijk kan zijn voor de cybersecurity-gemeenschap is dat die bug maanden eerder al was opgelost door de ontwikkelaars van libheif. Maar de fix werd nooit formeel gemarkeerd als een kwetsbaarheid, wat betekent dat er nooit een CVE-nummer (common vulnerabilities and exposures) aan werd toegekend, de standaardmanier van de industrie om bekende beveiligingszwakheden te volgen. Hacktron zegt dat dit kan verklaren waarom de software die door Discourse werd gebruikt nog steeds de kwetsbare versie draaide. Met andere woorden: de patch bestond, maar het papierwerk niet. En het papierwerk, zo blijkt, is dragend.

Opmerkelijk is dat de onderzoekers zeiden dat het Claude-model dat ze gebruikten – een speciale versie van Opus 4.