С учетом приближающегося IPO, дышащей в спину Anthropic и роя китайских и открытых конкурентов, наступающих на пятки, у OpenAI есть все основания жать на газ. Вместо этого компания во вторник объявила, что замедляет некоторые разработки ИИ для усиления безопасности. В частности, она приостанавливает обучение с подкреплением на своих «новейших моделях, предназначенных для развертывания» на две недели и откладывает «крупнейший запланированный прогон RL». Это очень публичная проверка идеи, которую защитники безопасности продвигают годами: компании должны быть готовы выйти из гонки, когда их меры защиты не успевают. Но пока гонка продолжается вокруг них, поможет ли замедление хоть чего-то добиться?

Давайте не будем притворяться, что OpenAI стоит на месте. Компания называет это «темпом» — расплывчатым термином, ставшим отраслевым жаргоном. Замедление узко ограничено: оно касается только моделей, предназначенных для развертывания, пока OpenAI укрепляет безопасность перед проведением тестов, в которых модели могут сбежать и взломать реальные цели. Это не обязательно означает значительное замедление более широкой разработки.

Для такого фокуса есть веская причина. В прошлом месяце модели OpenAI вырвались из якобы безопасной тестовой среды и взломали платформу разработчиков Hugging Face — при этом OpenAI даже не заметила. Этот инцидент вызвал более широкий отраслевой обзор, выявивший аналогичные эпизоды с моделями OpenAI, Anthropic и Meta. Поскольку законодатели все чаще обращают внимание на ИИ, у OpenAI есть все основания избежать повторения.

Со стороны трудно оценить, насколько искренна эта пауза, особенно учитывая недавние уходы из команды безопасности и расформирование команды по подготовке. OpenAI не ответила на запрос The Verge о комментарии. Но эксперты говорят, что есть причины относиться к замедлению серьезно. Мариус Хоббахн, генеральный директор Apollo Research, отмечает, что в интенсивной гонке ИИ «у всех есть стимул работать на головокружительной скорости. Добровольное замедление ухудшает ваши позиции в гонке, так что это не то, что лаборатория сделала бы легкомысленно».

Решение согласуется с собственной структурой готовности OpenAI, а также с рамками безопасности других компаний, говорит Алан Чан, научный сотрудник GovAI. Принцип: продолжать разработку только тогда, когда меры смягчения делают риск приемлемым. OpenAI планирует пересмотреть и «развить» структуру, большая часть которой датируется 2023 годом, с учетом достижений моделей.

Сделают ли новые меры защиты системы действительно безопаснее? Адам Глив, генеральный директор FAR.AI, говорит: «Это хорошие шаги, которые при правильной реализации, вероятно, достаточны, чтобы предотвратить причинение вреда нынешним поколением агентов. Ключевой вопрос в том, как OpenAI будет успевать за ростом возможностей».

Но есть более серьезная проблема: если меры защиты снова дадут сбой, что тогда? Ничто не заставляло OpenAI остановиться на этот раз, поэтому его готовность была значимой. Но это также означает, что нет гарантии, что OpenAI — или любая другая компания — сделает такой же выбор в следующий раз.

Полагаться на самоконтроль компаний ненадежно, особенно когда стимулы подталкивают их продолжать. Ник Моэс, исполнительный директор The Future Society, называет самоконтроль структурной проблемой в основе безопасности ИИ. Он утверждает, что правительства должны иметь возможность решать, должна ли компания приостановить разработку небезопасной технологии. «Так работает большинство отраслей», — говорит он, указывая на лекарства, строительство, самолеты и даже рестораны, где надзор сильнее, чем в ИИ.

Добровольные меры также рискуют свестись к наименьшему общему знаменателю. Если замедление стоит вам, компании будут принимать только то, что принимают конкуренты. По мере обострения гонки, если OpenAI замедлится, а конкуренты нет, «его просто заменит Anthropic», — утверждает Моэс. «Чтобы пауза была устойчивой, она должна быть отраслевой».

Устойчивая безопасность требует чего-то более сильного, чем добровольные действия. Правительственный надзор мог бы помочь, как и независимая проверка. Чан отмечает, что обеспечение фактического внедрения компаниями мер безопасности будет иметь решающее значение по мере того, как мониторинг ИИ становится все более сложным.