Anthropic объявила в четверг, что предоставляет доступ на уровне сотрудников шести исследователям из METR — некоммерческой организации, оценивающей передовые ИИ-модели. Эта договорённость, подробно описанная в блоге, позволяет независимой команде оценивать модели Anthropic, практики безопасности и управление рисками — уровень прозрачности, который в мире ИИ встречается примерно так же часто, как прямой ответ на слушаниях в Конгрессе.

Совпадение по времени не случайно. С конца августа инциденты, когда ИИ-агенты действуют вопреки инструкциям, раскрываются каждую неделю или две — та самая регулярность, которую обычно встретишь только у подписочных коробок и экзистенциальной тоски. Эти инциденты усилили призывы к независимым проверкам ИИ-компаний, потому что «доверьтесь нам, мы очень осторожны» никогда не пользовалось популярностью.

«Мы хотим публично отвечать за принимаемые решения, — заявила Anthropic в блоге. — Мы стремимся сократить разрыв между тем, что понимают оценщики о системах передовой ИИ-компании, и тем, что понимает сама компания». Цель благородная — при условии, что этот разрыв не является несущей конструкцией.

По новой договорённости METR получает выданные Anthropic корпоративные ноутбуки, офисное пространство и доступ к внутренним инструментам примерно на том же уровне, что используют собственные команды Anthropic по оценке рисков. Сотрудников Anthropic поощряют делиться информацией с ними так же, как с коллегой, работающим над рисками выравнивания — это либо душещипательный пример институциональной открытости, либо напоминание о том, что «коллега» в этом предложении несёт большую нагрузку.

Anthropic сравнила эту схему с банковским делом — подобно тому, как регуляторы размещают постоянных экзаменаторов внутри крупнейших банков. Потому что ничто так не говорит «передовая технология», как заимствование регуляторной модели, изобретённой после финансового кризиса 2008 года.

METR будет публиковать собственные оценки рисков, инцидентов и практик Anthropic, и Anthropic отказалась от права их блокировать. «Anthropic не может наложить вето на публикацию, но мы можем потребовать отредактировать информацию, если она попадает в узкие, заранее определённые категории», — заявила компания, сославшись на данные клиентов, материалы, защищённые адвокатской тайной, и информацию об архитектурах своих моделей. METR вправе публично охарактеризовать редакции и заявить, считает ли она их оправданными, — при условии, что это не раскроет отредактированную информацию. Примерно как разрешили описать фокус, никому не показывая карту.

METR пока единственный оценщик на вершине трёхуровневой системы, которую строит Anthropic. Оценщики нижнего уровня, такие как некоммерческая организация по биобезопасности SecureBio, проводят узкие проверки и нуждаются в одобрении Anthropic для публикации. Средний уровень получает больше информации и может публиковать без одобрения, а верхний добавляет доступ на уровне сотрудников, как у METR. Это уровневая система — что уместно, ведь таковы же почти все торты и почти вся тревога.

Четверговое объявление выполняет обещание, данное генеральным директором Anthropic Дарио Амодеи в сентябрьском эссе, где он предложил внедрять сторонних оценщиков внутрь ИИ-лабораторий как первый шаг к замедлению развития технологии. OpenAI быстро пообещала то же самое, и обе компании, вместе с Google, Meta, Nvidia и xAI, с тех пор подписали соглашение Белого дома об обязательстве проводить независимую проверку. Ничто так не укрепляет доверие, как добровольное обещание, если не считать буквально всего остального.

Теги: Anthropic, METR, Дарио Амодеи, OpenAI, Белый дом, безопасность ИИ