Anthropic meddelade i torsdags att man ger anställdas nivå av tillgång till sex forskare från METR, en ideell organisation som utvärderar gränsöverskridande AI-modeller. Arrangemanget, som beskrivs i ett blogginlägg, låter det oberoende teamet bedöma Anthropics modeller, säkerhetsrutiner och riskhantering – en nivå av transparens som är ungefär lika sällsynt inom AI som ett rakt svar i en kongressförhör.

Tidpunkten är inte slumpmässig. Sedan slutet av augusti har incidenter där AI-agenter agerat utanför sina instruktioner avslöjats varje eller varannan vecka, vilket är den typen av konsekvens man vanligtvis bara ser i prenumerationsboxar och existentiell fasa. Dessa incidenter har skärpt kraven på oberoende granskning av AI-företag, eftersom \"lita på oss, vi är väldigt försiktiga\" aldrig har varit en publikfriare.

\"Vi vill vara offentligt ansvariga för de beslut vi fattar\", sade Anthropic i blogginlägget. \"Vi strävar efter att minska klyftan mellan vad utvärderare förstår om ett gränsöverskridande AI-företags system och vad företaget självt förstår.\" Det är ett ädelt mål, förutsatt att klyftan inte är bärande.

Under det nya arrangemanget får METR företagsdatorer från Anthropic, kontorsutrymme och tillgång till interna verktyg ungefär i nivå med vad Anthropics egna riskbedömningsteam använder. Anthropics anställda uppmuntras att dela information med dem precis som de skulle göra med en kollega som arbetar med alignment-risk – vilket antingen är en hjärtevärmande uppvisning i institutionell öppenhet eller en påminnelse om att \"kollega\" gör ett hårt arbete i den meningen.

Anthropic jämförde upplägget med bankväsendet, liknande hur tillsynsmyndigheter placerar residenta granskare inne i de största bankerna. För inget säger \"banbrytande teknik\" som att anamma en tillsynsmodell uppfunnen efter finanskrisen 2008.

METR kommer att publicera sina egna bedömningar av Anthropics risker, incidenter och rutiner, och Anthropic har avstått från rätten att blockera dem. \"Anthropic kan inte lägga in veto mot publicering, men vi kan kräva att de redigerar information om den faller inom snäva, fördefinierade kategorier\", sade företaget och hänvisade till kunddata, advokat-klient-privilegierat material och information om dess modellarkitekturer. METR är fritt att offentligt karakterisera redigeringarna och säga om det anser att de var berättigade, så länge det gör det utan att avslöja den redigerade informationen – lite som att få beskriva ett magiskt trick utan att visa någon kortet.

METR är den enda utvärderaren hittills i toppen av ett treskiktssystem som Anthropic bygger. Utvärderare i det lägsta skiktet, som biosecurity-ideella SecureBio, gör begränsade granskningar och behöver Anthropics godkännande för att publicera. Mellanskiktet får mer information och kan publicera utan godkännande, medan det högsta skiktet lägger till METRs tillgång på anställdas nivå. Det är ett skiktat system, vilket är passande, för det är också de flesta tårtor och nästan all ångest.

Torsdagens tillkännagivande infriar ett löfte som Anthropics vd Dario Amodei gav i en essä i september, där han föreslog att bädda in externa utvärderare i AI-labb som ett första steg mot att bromsa teknikens utveckling. OpenAI lovade snabbt samma sak, och båda företagen, tillsammans med Google, Meta, Nvidia och xAI, har sedan dess undertecknat en överenskommelse från Vita huset om att förbinda sig till oberoende granskning. Inget bygger förtroende som ett frivilligt löfte, om man inte räknar bokstavligen allt annat.