Anthropic ogłosiło w czwartek, że przyznaje dostęp na poziomie pracowniczym sześciorgu badaczy z METR, organizacji non-profit zajmującej się oceną modeli AI na froncie technologicznym. Porozumienie, opisane szczegółowo we wpisie na blogu, pozwala niezależnemu zespołowi oceniać modele Anthropic, praktyki bezpieczeństwa i zarządzanie ryzykiem – poziom przejrzystości, który w świecie AI jest mniej więcej tak rzadki jak prosta odpowiedź na przesłuchaniu w Kongresie.

Termin nie jest przypadkowy. Od końca sierpnia incydenty, w których agenci AI działali wbrew instrukcjom, ujawniano co tydzień lub dwa – to regularność, jaką normalnie spotyka się tylko w pudełkach subskrypcyjnych i egzystencjalnym lęku. Te incydenty zaostrzyły apele o niezależne kontrole firm AI, bo „zaufajcie nam, jesteśmy bardzo ostrożni” nigdy nie było hitem publiczności.

„Chcemy być publicznie rozliczani z decyzji, które podejmujemy” – stwierdziło Anthropic we wpisie. „Dążymy do zamknięcia luki między tym, co oceniający rozumieją o systemach firmy na froncie AI, a tym, co rozumie sama firma”. Szlachetny cel, zakładając, że luka nie jest nośna konstrukcyjnie.

W ramach nowego porozumienia METR otrzymuje firmowe laptopy od Anthropic, przestrzeń biurową i dostęp do wewnętrznych narzędzi mniej więcej na poziomie tym, z którego korzystają własne zespoły oceny ryzyka Anthropic. Pracownicy Anthropic są zachęcani do dzielenia się informacjami z nimi tak, jak z kolegą z pracy zajmującym się ryzykiem alignmentu – co jest albo wzruszającym przejawem instytucjonalnej otwartości, albo przypomnieniem, że „kolega z pracy” wykonuje w tym zdaniu kawał ciężkiej roboty.

Anthropic porównało ten układ do bankowości, podobnie jak regulatorzy umieszczają rezydentnych egzaminatorów w największych bankach. Bo nic nie mówi „nowoczesna technologia” tak jak przyjęcie modelu regulacyjnego wynalezionego po kryzysie finansowym z 2008 roku.

METR opublikuje własne oceny ryzyka, incydentów i praktyk Anthropic, a Anthropic zrzekło się prawa do ich blokowania. „Anthropic nie może zawetować publikacji, ale możemy wymagać, aby zredagowali informacje, jeśli należą do wąskich, z góry określonych kategorii” – powiedziała firma, wymieniając dane klientów, materiały objęte tajemnicą adwokacką i informacje o architekturze modeli. METR może swobodnie publicznie scharakteryzować redakcje i powiedzieć, czy uważa je za uzasadnione, o ile zrobi to bez ujawniania zredagowanych informacji – trochę jak pozwolenie na opisanie sztuczki bez pokazywania komukolwiek karty.

METR jest jak dotąd jedynym oceniającym na szczycie trójstopniowego systemu, który buduje Anthropic. Oceniający w najniższym stopniu, jak organizacja non-profit ds. biobezpieczeństwa SecureBio, przeprowadzają wąskie przeglądy i potrzebują zgody Anthropic na publikację. Średni stopień otrzymuje więcej informacji i może publikować bez zgody, a najwyższy dodaje dostęp na poziomie pracowniczym dla METR. To system warstwowy, co pasuje, bo takie jest większość ciast i niemal cały niepokój.

Czwartkowe ogłoszenie spełnia obietnicę złożoną przez CEO Anthropic, Dario Amodei, we wrześniowym eseju, w którym zaproponował osadzenie zewnętrznych oceniających wewnątrz laboratoriów AI jako pierwszy krok do spowolnienia rozwoju technologii. OpenAI szybko zobowiązało się do tego samego, a obie firmy, wraz z Google, Meta, Nvidia i xAI, podpisały później porozumienie Białego Domu zobowiązujące do niezależnego przeglądu. Nic nie buduje zaufania tak jak dobrowolne zobowiązanie, chyba że liczyć dosłownie wszystko inne.