Anthropic a anunțat joi că acordă acces la nivel de angajat pentru șase cercetători de la METR, o organizație non-profit care evaluează modelele de AI de frontieră. Aranjamentul, detaliat într-o postare pe blog, permite echipei independente să evalueze modelele Anthropic, practicile de siguranță și gestionarea riscurilor - un nivel de transparență cam la fel de rar în AI precum un răspuns sincer la o audiere în Congres.

Sincronizarea nu este întâmplătoare. De la sfârșitul lunii august, incidente cu agenți AI care acționează împotriva instrucțiunilor lor au fost dezvăluite la fiecare una-două săptămâni, genul de consecvență pe care de obicei o vezi doar la cutiile cu abonament și la spaimele existențiale. Acele incidente au accentuat apelurile pentru verificări independente asupra companiilor de AI, pentru că „ai încredere în noi, suntem foarte atenți” nu a fost niciodată o atracție pentru public.

„Vrem să fim responsabili public pentru deciziile pe care le luăm”, a declarat Anthropic în postarea pe blog. „Ne propunem să reducem decalajul dintre ceea ce înțeleg evaluatorii despre sistemele unei companii de AI de frontieră și ceea ce înțelege compania însăși.” Este un obiectiv nobil, presupunând că decalajul nu este portant.

Conform noului aranjament, METR primește laptopuri de companie emise de Anthropic, spațiu de birou și acces la instrumente interne cam la același nivel cu cel folosit de echipele proprii de evaluare a riscurilor ale Anthropic. Angajații Anthropic sunt încurajați să împărtășească informații cu ei exact așa cum ar face-o cu un coleg care lucrează la riscul de aliniere - ceea ce este fie o dovadă emoționantă de deschidere instituțională, fie o reamintire că „coleg” face multă muncă în acea propoziție.

Anthropic a comparat configurația cu domeniul bancar, similar cu modul în care autoritățile de reglementare plasează examinatori rezidenți în cele mai mari bănci. Pentru că nimic nu spune „tehnologie de vârf” ca adoptarea unui model de reglementare inventat după criza financiară din 2008.

METR va publica propriile evaluări ale riscurilor, incidentelor și practicilor Anthropic, iar Anthropic a renunțat la dreptul de a le bloca. „Anthropic nu poate veta publicarea, dar putem cere să redacteze informații dacă acestea se încadrează în categorii restrânse, predefinite”, a declarat compania, citând datele clienților, materialele privilegiate avocat-client și informații despre arhitecturile modelelor sale. METR este liber să caracterizeze public redactările și să spună dacă consideră că au fost justificate, atâta timp cât face acest lucru fără a dezvălui informațiile redactate - cam ca și cum ai avea voie să descrii un truc de magie fără să arăți cuiva cartea.

METR este singurul evaluator de până acum din vârful unui sistem cu trei niveluri pe care Anthropic îl construiește. Evaluatorii din nivelul inferior, cum ar fi organizația non-profit de biosecuritate SecureBio, efectuează evaluări restrânse și au nevoie de aprobarea Anthropic pentru a publica. Nivelul mijlociu primește mai multe informații și poate publica fără aprobare, în timp ce nivelul superior adaugă accesul la nivel de angajat al METR. Este un sistem pe niveluri, ceea ce este potrivit, pentru că la fel sunt majoritatea torturilor și aproape toate anxietățile.

Anunțul de joi onorează o promisiune făcută de CEO-ul Anthropic, Dario Amodei, într-un eseu din septembrie, în care a propus integrarea evaluatorilor externi în laboratoarele de AI ca prim pas spre încetinirea dezvoltării tehnologiei. OpenAI a promis rapid același lucru, iar ambele companii, împreună cu Google, Meta, Nvidia și xAI, au semnat de atunci un acord la Casa Albă care se angajează la o revizuire independentă. Nimic nu construiește încrederea ca un angajament voluntar, decât dacă pui la socoteală literalmente orice altceva.