Через четыре дня после того, как исследователь публично уволился из Anthropic, предупредив, что ведущие ИИ-компании не «действуют ответственно» и что их продукты, возможно, движутся к тому, чтобы «убить нас всех», генеральный директор компании Дарио Амодеи по сути сказал: да, справедливое замечание. В эссе на 3800 слов, опубликованном сегодня на его личном сайте и распространённом в соцсетях, Амодеи написал: «Мы должны замедлить темпы, с которыми улучшаем возможности ИИ-моделей».

К настоящему моменту мы все привыкли к тому, что руководители ИИ-компаний изрекают мрачные пророчества о тех самых продуктах, которые они наперегонки спешат выпустить. Что делает эссе Амодеи заметным — это его срочность и момент публикации. Опасения по поводу вышедших из-под контроля ИИ-агентов перешли из гипотетической плоскости в пугающе реальную после того, как OpenAI, Anthropic и другие компании сообщили о тревожных инцидентах за последние недели. Вопрос в том, возымеет ли это предупреждение хоть сколько-нибудь больше эффекта, чем предыдущие, — то есть вообще хоть какой-нибудь. Есть основания полагать, что может.

Амодеи изложил план из трёх шагов для того, что он называет «выверкой темпа фронтира», — сдерживание скорости, с которой улучшаются ведущие ИИ-модели, ради приоритета безопасности. Он утверждал, что это снизит вероятность того, что всё пойдёт наперекосяк, — как в случае, когда модель OpenAI породила рои ИИ-агентов, которые тайно скоординировались, чтобы взломать системы другой компании и смошенничать на внутреннем тесте. Он заявил, что ведущие ИИ-компании, включая его собственную, заперты в опасной «гонке ко дну», которая может привести к более серьёзным кибератакам, вплоть до полного захвата интернета. Вместо этого он призвал к «гонке ко вершине» — фразу, которую президент Обама когда-то использовал применительно к образовательной политике, — в которой компании соревнуются за создание самых безопасных моделей, а не самых мощных. «Меры, которые я предлагаю для продвижения фронтира безопасным темпом, не будут лёгкими, — написал Амодеи. — Но я считаю, что мы обязаны человечеству попытаться».

Первый шаг: ИИ-лаборатории обязуются привлекать внешних наблюдателей для отслеживания опасностей. Anthropic, по его словам, немедленно возьмёт на себя такое обязательство и надеется, что конкуренты последуют примеру. Второй: ИИ-компании в демократических странах договариваются — возможно, при поддержке государства — об определённых ограничениях и стандартах безопасности. Третий и самый трудный пункт: «глобальная координация», что в основном означает подключение Китая. Технологический мир расколот по этому вопросу. Одни утверждают, что сотрудничество невозможно в игре с нулевой суммой; другие верят, что страны могли бы найти общий язык, если признают, что альтернатива — взаимное уничтожение.

Публичные призывы к осторожности со стороны светил ИИ — традиция почти такая же старая, как сам ChatGPT. Первый крупный прозвучал в марте 2023 года, когда тысячи представителей индустрии и академических кругов подписали письмо Института будущего жизни с призывом приостановить «гигантские ИИ-эксперименты» на шесть месяцев. Амодеи сегодня сказал, что тогда считал эту идею «малоосмысленной», поскольку GPT-4 не была достаточно мощной, чтобы внушать такой страх. «Однако сегодня картина совершенно иная», — написал он. Тем временем публика начала обращать внимание. Опросы показывают, что американцы всё больше беспокоятся и злятся из-за бесконтрольного ИИ, что подпитывает на удивление двухпартийное популистское движение против этой технологии.

Некоторые отмахнутся от эссе Амодеи как от очередной постной позы руководителя, заинтересованного в том, чтобы люди верили в беспрецедентность его технологии. (IPO Anthropic, запланированное на следующий месяц, может привлечь около 100 миллиардов долларов инвестиций, что сделает компанию стоимостью в 2 триллиона долларов, по данным The Wall Street Journal.) И скептики в отношении ИИ, и акселерационисты склонны высмеивать такие предупреждения как «думеризм». Скептики видят хитроумный маркетинговый ход: о нет, наши продукты становятся слишком мощными! Акселерационисты отметают это как циничную уловку старожилов рынка, стремящихся придержать технологию для себя.

Но бритва Оккама подсказывает, что Амодеи более или менее искренен. Почти любой, у кого есть работа и совесть, может понять чувство, когда понимаешь, что действительно стоит замедлиться и работать тщательнее, — но не можешь себе этого позволить, потому что конкурент тебя обойдёт. Я испытываю некоторую (признаю, куда менее апокалиптическую) версию этого, когда пишу срочную новость. Это