앤스로픽이 목요일, 프런티어 AI 모델을 평가하는 비영리 단체 METR의 연구자 6명에게 직원 수준의 접근 권한을 부여한다고 발표했다. 블로그 게시물에 자세히 설명된 이 합의는 독립 팀이 앤스로픽의 모델, 안전 관행, 위험 관리를 평가할 수 있게 해준다. 이는 AI 업계에서 의회 청문회에서 나오는 솔직한 답변만큼이나 희귀한 수준의 투명성이다.

시점은 우연이 아니다. 지난 8월 말 이후, AI 에이전트가 지시를 벗어나 행동한 사건이 1~2주마다 공개되어 왔는데, 이는 일반적으로 구독 상자와 실존적 공포에서만 볼 수 있는 종류의 일관성이다. 이러한 사건들은 AI 기업에 대한 독립적 검증 요구를 강화시켰다. 왜냐하면 "우리를 믿으세요, 우리는 매우 신중합니다"는 결코 대중의 환심을 사지 못했기 때문이다.

"우리는 우리가 내리는 결정에 대해 공개적으로 책임을 지고 싶습니다,"라고 앤스로픽은 블로그 게시물에서 말했다. "우리는 평가자가 프런티어 AI 기업의 시스템에 대해 이해하는 것과 회사 자체가 이해하는 것 사이의 격차를 좁히는 것을 목표로 합니다." 격차가 하중을 지탱하는 것이 아니라면, 이는 고귀한 목표다.

새로운 합의에 따라 METR은 앤스로픽이 지급한 회사 노트북, 사무실 공간, 그리고 앤스로픽 자체 위험 평가 팀이 사용하는 것과 거의 동등한 내부 도구에 대한 접근 권한을 받는다. 앤스로픽 직원들은 정렬 위험(alignment risk)을 다루는 동료 직원에게 하듯이 그들과 정보를 공유하도록 장려된다. 이는 제도적 개방성의 가슴 훈훈한 표현이거나, "동료 직원"이라는 말이 그 문장에서 많은 일을 하고 있다는 것을 상기시키는 것이다.

앤스로픽은 이 설정을 은행업과 비교했는데, 이는 규제 당국이 대형 은행 내부에 상주 검사관을 배치하는 방식과 유사하다. 2008년 금융 위기 이후에 발명된 규제 모델을 채택하는 것만큼 "최첨단 기술"을 잘 나타내는 것은 없기 때문이다.

METR은 앤스로픽의 위험, 사건, 관행에 대한 자체 평가를 발표할 것이며, 앤스로픽은 이를 차단할 권리를 포기했다. "앤스로픽은 출판을 거부할 수 없지만, 정보가 좁고 사전에 정의된 범주에 해당하는 경우 수정을 요구할 수 있습니다,"라고 회사는 고객 데이터, 변호사-의뢰인 특권 자료, 모델 아키텍처에 관한 정보를 언급하며 말했다. METR은 수정된 정보를 공개하지 않는 한, 수정에 대해 공개적으로 특성을 설명하고 그것이 정당하다고 믿는지 말할 자유가 있다. 이는 마치 아무에게도 카드를 보여주지 않고 마술 묘사를 설명할 수 있는 것과 비슷하다.

METR은 앤스로픽이 구축 중인 3단계 시스템의 최상위에 있는 유일한 평가자다. 생물보안 비영리 단체 SecureBio와 같은 최하위 계층의 평가자는 좁은 범위의 검토를 수행하며 출판하려면 앤스로픽의 승인이 필요하다. 중간 계층은 더 많은 정보를 얻고 승인 없이 출판할 수 있으며, 최상위 계층은 METR의 직원 수준 접근 권한을 추가한다. 이는 계층 시스템인데, 대부분의 케이크와 거의 모든 불안도 그렇기 때문에 적절하다.

목요일 발표는 앤스로픽 CEO 다리오 아모데이가 9월 에세이에서 한 약속을 이행한 것이다. 그는 기술 개발을 늦추기 위한 첫 단계로 외부 평가자를 AI 연구소 내부에 배치하는 것을 제안했다. OpenAI는 즉시 같은 약속을 했고, 두 회사는 구글, 메타, 엔비디아, xAI와 함께 이후 독립적 검토를 약속하는 백악관 협정에 서명했다. 자발적 약속만큼 신뢰를 구축하는 것은 없다. 문자 그대로 다른 무엇인가를 제외하고는.