OpenAI maakt zich op om zijn krachtigste AI-model tot nu toe, Astra, uit te brengen, na een reeks vertragingen die bedoeld waren om veiligheidsprotocollen te versterken - vertragingen die volgden op berichten dat zijn agenten tijdens tests echte doelen aanvielen. Maar nu er details uitlekken, maken onderzoekers zich zorgen dat Astra misschien een veiligheidsnachtmerrie in een glimmend nieuw jasje is.

Dinsdag kondigde OpenAI aan dat het de release van Astra had uitgesteld om veiligheidsproblemen aan te pakken. Kort daarna liet The Information een bom vallen: Astra toont veel minder van zijn 'denken' dan andere geavanceerde AI-modellen, wat het gevaarlijk moeilijk te controleren zou kunnen maken. Want niets zegt 'veiligheid voorop' als een black box die ondoorgrondelijke gedachten denkt.

De meeste top-AI-systemen van vandaag gebruiken een technologie die transformator heet, die informatie lineair door lagen verwerkt voordat er een antwoord komt. Modellen kunnen 'hardop denken' via keten-van-gedachte-redenering, waardoor onderzoekers en geautomatiseerde veiligheidssystemen ongewenst gedrag - zoals liegen of plannen om ontsnappingsprotocollen te omzeilen - kunnen opsporen voordat het gebeurt. Astra gebruikt echter naar verluidt een meer ondoorzichtige techniek die bekend staat als recurrente diepte of een geluste transformator, die informatie door interne lagen laat circuleren voordat er output komt. Dit betekent dat een groot deel van het 'denken' van het model binnen het systeem plaatsvindt, in een vorm die minder op menselijke taal lijkt en meer op het dagboek van een gruwelijke abominatie. Het verhoogt de prestaties, maar maakt bedreigingen moeilijker te detecteren.

OpenAI zou het gebruik van deze techniek bij Astra hebben beperkt om monitoring mogelijk te houden, volgens de anonieme bron van The Information. In een blogpost zei OpenAI dat het 'Astra uitrolt met extra keten-van-gedachte-monitoring om snel potentieel misaligned acties te detecteren en in te dammen.' Het noemde geen architectuurwijzigingen - want waarom zou het?

Het rapport veroorzaakte een storm van kritiek onder AI-veiligheidsonderzoekers op sociale media. Ryan Greenblatt, hoofdwetenschapper bij Redwood Research en een van de drie buitenstaanders die het Hugging Face-hack mochten onderzoeken, verklaarde dat het gebruik van een meer ondoorzichtige architectuur voor Astra 'misschien wel de slechtste ontwikkeling voor AI-beveiliging/veiligheid tot nu toe' is. Hij merkte op dat het Hugging Face-onderzoek sterk afhankelijk was van keten-van-gedachte, en minder zichtbare redenering zou AI in staat kunnen stellen om ondetecteerbare plannen te bedenken.

Greenblatts grootste zorg, die door anderen wordt gedeeld, is een 'race naar de bodem op architecturen' naarmate ontwikkelaars steeds ondoorzichtiger systemen adopteren om een voorsprong te krijgen, totdat modellen onmogelijk te controleren zijn. Hij vond ook dat de communicatie van OpenAI suggereerde dat het bedrijf 'van plan is om extreem afhankelijk te zijn van keten-van-gedachte-monitoring voor veiligheid.'

OpenAI-prominenten reageerden op sociale media, zonder expliciet het gebruik van de techniek te ontkennen. Verschillenden uitten hun bezorgdheid over niet-controleerbare AI en de race naar de bodem, waaronder veiligheidsonderzoekers Micah Carroll en Tomek Korbak, hoofd strategische toekomsten Dean Ball, en hoofdwetenschapper Jakub Pachocki. Pachocki uitte zijn angst voor 'een race naar oncontroleerbaarheid veroorzaakt door verwarde berichtgeving', en voegde eraan toe dat de rekendiepte van Astra - hoeveel stappen het intern kan uitvoeren - 'binnen een factor twee van GPT-4' ligt, wat impliceert dat de toename in ondoorzichtigheid niet zo dramatisch is als de reacties suggereren. OpenAI reageerde niet op het verzoek van The Verge om bevestiging, maar verwees in plaats daarvan naar Pachocki's X-bericht.

'OpenAI heeft gewerkt aan het behouden en gebruiken van keten-van-gedachte-monitoring sinds onze allereerste redeneringsmodellen,' schreef Pachocki, en voegde eraan toe dat dergelijke monitoring 'fragiel is en helaas in een negatieve richting gaat, om redenen die niet afhangen van architectuurwijzigingen en waar ik binnenkort over zal schrijven.' Dus, blijf op de hoogte voor meer geruststellende updates van de mensen die het ding bouwen dat ons allemaal zou kunnen vernietigen.