Anthropic kondigde donderdag aan dat het werknemersniveau toegang verleent aan zes onderzoekers van METR, een non-profit die grensverleggende AI-modellen evalueert. De regeling, uiteengezet in een blogpost, laat het onafhankelijke team de modellen, veiligheidspraktijken en risicobeheer van Anthropic beoordelen - een mate van transparantie die ongeveer net zo zeldzaam is in AI als een rechtstreeks antwoord tijdens een congreszitting.

De timing is geen toeval. Sinds eind augustus worden er elke week of twee weken incidenten gemeld waarbij AI-agenten buiten hun instructies handelen, wat precies het soort consistentie is dat je normaal alleen ziet bij abonnementsboxen en existentiële angst. Die incidenten hebben de roep om onafhankelijke controles op AI-bedrijven verscherpt, want "vertrouw ons, we zijn heel voorzichtig" is nooit een publiekstrekker geweest.

"We willen publiekelijk verantwoording afleggen voor de beslissingen die we nemen," zei Anthropic in de blogpost. "We willen de kloof dichten tussen wat evaluatoren begrijpen over de systemen van een grensverleggend AI-bedrijf en wat het bedrijf zelf begrijpt." Het is een nobel doel, ervan uitgaande dat de kloof niet dragend is.

Onder de nieuwe regeling krijgt METR door Anthropic verstrekte bedrijfslaptops, kantoorruimte en toegang tot interne tools die ongeveer gelijkwaardig zijn aan wat de eigen risicobeoordelingsteams van Anthropic gebruiken. Anthropic-medewerkers worden aangemoedigd om informatie met hen te delen zoals ze dat zouden doen met een collega die aan alignment-risico werkt - wat ofwel een hartverwarmende demonstratie van institutionele openheid is, ofwel een herinnering dat "collega" veel werk verricht in die zin.

Anthropic vergeleek de opzet met het bankwezen, vergelijkbaar met hoe toezichthouders residente examinatoren in de grootste banken plaatsen. Want niets zegt "geavanceerde technologie" als het overnemen van een regelgevingsmodel dat is uitgevonden na de financiële crisis van 2008.

METR zal zijn eigen beoordelingen van de risico's, incidenten en praktijken van Anthropic publiceren, en Anthropic heeft afstand gedaan van het recht om ze te blokkeren. "Anthropic kan publicatie niet vetoën, maar we kunnen eisen dat ze informatie redigeren als die in nauwe, vooraf gedefinieerde categorieën valt," zei het bedrijf, met verwijzing naar klantgegevens, materiaal dat onder het verschoningsrecht valt en informatie over zijn modelarchitecturen. METR is vrij om de redacties publiekelijk te karakteriseren en te zeggen of het vindt dat ze gerechtvaardigd waren, zolang het dat doet zonder de geredigeerde informatie te onthullen - een beetje alsof je een goocheltruc mag beschrijven zonder iemand de kaart te laten zien.

METR is tot nu toe de enige evaluator aan de top van een drielaags systeem dat Anthropic aan het bouwen is. Evaluatoren in de onderste laag, zoals biosecurity non-profit SecureBio, voeren beperkte beoordelingen uit en hebben de goedkeuring van Anthropic nodig om te publiceren. De middelste laag krijgt meer informatie en kan zonder goedkeuring publiceren, terwijl de bovenste laag de toegang op werknemersniveau van METR toevoegt. Het is een gelaagd systeem, wat passend is, want dat geldt ook voor de meeste cake en bijna alle angst.

De aankondiging van donderdag lost een belofte in die Anthropic-CEO Dario Amodei deed in een essay uit september, waarin hij voorstelde buitenstaande evaluatoren in AI-labs te embedden als een eerste stap naar het vertragen van de ontwikkeling van de technologie. OpenAI beloofde hetzelfde al snel, en beide bedrijven, samen met Google, Meta, Nvidia en xAI, hebben sindsdien een akkoord van het Witte Huis ondertekend waarin ze zich committeren aan onafhankelijke beoordeling. Niets bouwt vertrouwen op als een vrijwillige belofte, tenzij je letterlijk al het andere meetelt.