Исследователи Google и Google DeepMind в среду объявили о запуске Института DeepMind — новой инициативы, призванной продвинуть дискуссию об искусственном общем интеллекте (AGI). Потому что если быстро развивающейся передовой области AGI чего-то и не хватает, так это дополнительных разговоров.

В числе директоров института значатся соучредитель DeepMind Шейн Легг, топ-менеджер Google Джеймс Маника и председатель Google DeepMind Демис Хассабис, причём Легг занимает должность главного редактора. Заявленная цель — выявить разногласия между Google, Google DeepMind и более широким мировым исследовательским сообществом по вопросам AGI. «Они не всегда будут соглашаться и, вероятно, будут менять своё мнение по мере появления новых данных и информации на этом быстро меняющемся фронте», — говорится в анонсе. Эта фраза могла бы стать девизом любого группового чата с 2022 года.

Первый сборник из четырёх эссе охватывает экономическую политику для управления потенциальными потрясениями от AGI, сохранение понятных человеку рассуждений модели, принципы человеческого процветания и структуру оценки передовых ИИ-моделей. Иными словами: деньги, математика, смысл и мониторинг.

В одном из эссе исследователи по безопасности DeepMind Рохин Шах и Анка Драган утверждают, что сокращающееся окно прозрачности ИИ — возможность видеть и проверять пошаговые рассуждения модели — не является неизбежным. Поскольку новые архитектуры делают самые мощные модели труднее поддающимися мониторингу, авторы говорят, что разработчики и регуляторы должны напрямую confront компромиссы в области безопасности. Это может означать ограничение «непрозрачной последовательной глубины» — объёма последовательных вычислений, которые модель может выполнить, не создавая читаемого следа рассуждений, — или требование к разработчикам доказывать, что менее прозрачные системы остаются столь же контролируемыми. Что является вежливым способом сказать: если не можешь показать свою работу, лучше докажи, что она тебе не нужна.

В другом эссе Хассабис предлагает создать под руководством США орган по стандартам передового ИИ для оценки самых продвинутых моделей. Согласно его структуре, разработчики первоначально будут добровольно предоставлять модели на проверку не позднее чем за 30 дней до выпуска. Как только система оценки докажет свою эффективность, прохождение её тестов может стать обязательным условием для развёртывания передовых моделей в США. Орган сначала будет разрабатывать оценки в консультации с ИИ-компаниями, но в конечном итоге создаст независимые, неразглашаемые оценки — так называемые «отложенные» тесты, — чтобы лаборатории не могли подгонять свои модели под известные проверки. Хассабис сказал, что структура может быть «усилена, если серьёзность ситуации потребует этого», включая потенциально скоординированное замедление среди разработчиков передового ИИ. Потому что ничто так не поощряет добровольное соблюдение, как угроза группового тайм-аута.

Эссе появляются в тот момент, когда отраслевые дебаты о безопасности смещаются от широких заявлений озабоченности к конкретным предложениям по раскрытию информации, внешнему контролю и, если меры защиты отстают, скоординированным замедлениям. Этот сдвиг ускорился на этой неделе, когда лидеры отрасли поддержали элементы призыва генерального директора Anthropic Дарио Амодеи «замедлить» развитие передового ИИ. Итак: эссе, органы по стандартам и occasional экзистенциальный вздох. Прогресс, в некотором роде.