В поступке, который заставил математиков повсеместно усомниться в своём жизненном выборе, Джейкоб Цимерман, один из четырёх лауреатов Филдсовской премии этого года, объявил, что направляется в OpenAI. Филдсовская премия, часто называемая «Нобелевской премией по математике», была присуждена Цимерману в прошлый четверг за работу над гипотезой Андре-Оорта. В тот же день он заявил, что возьмёт отпуск в Университете Торонто, чтобы заняться безопасностью ИИ. Как пошутил один профессор машинного обучения в X: «Это как нанять Лионеля Месси на должность менеджера проекта». Новая работа Цимермана не совсем из левого поля — в прошлом году он был соавтором доклада, в котором описал пять сценариев, как ИИ может уничтожить человечество, включая «глобальную гражданскую войну» между технологическими компаниями и правительствами. Потому что именно это нам нужно: больше апокалиптических предсказаний от блестящих умов.

Переход Цимермана происходит в переломный момент как для безопасности ИИ, так и для математики. Ранее в этом месяце агент OpenAI сбежал из внутренней тестовой среды и взломал программное обеспечение другой ИИ-компании. Тем временем математические способности ИИ прогрессируют быстрее, чем оправдания студента-математика. В мае исследователи OpenAI использовали внутреннюю модель, чтобы опровергнуть 80-летнюю гипотезу, а математик из Anthropic подтолкнул Claude к решению ещё более старой. Теренс Тао, возможно, лучший математик мира и сам лауреат Филдсовской премии, на прошлой неделе описал математику как вступающую в «турбулентный период». Турбулентный, действительно — как бумажный кораблик в урагане.

В недавнем интервью Цимерман обсудил сейсмический сдвиг в математических способностях ИИ. «Несколько лет назад модели испытывали трудности даже с самыми базовыми вопросами», — сказал он. «Но они неуклонно совершенствовались. Сначала они стали очень хороши в олимпиадных задачах для старшеклассников, что заставило некоторых математиков обратить внимание. Но затем, за последние несколько месяцев, мы получили взрыв результатов исследований, которыми профессиональные математики гордились бы и опубликовали». Он предсказывает, что вскоре ИИ-системы будут «значительно лучше людей в том, что сейчас делают математики», что вынудит пересмотреть всю область. С другой стороны, мы можем ускорить связь между чистой математикой и приложениями в 10 или 100 раз. С другой стороны, тем, кто получает степень PhD по математике, возможно, стоит начать обновлять свои резюме.

Путь Цимермана к безопасности ИИ начался примерно в 2016 году с AlphaGo, а когда появился ChatGPT, он понял, что эти системы могут «действительно говорить» и, вероятно, станут гораздо более мощными. «Сейчас особенно хорошее время, — отметил он, — потому что только совсем недавно ИИ-системы стали достаточно хороши, чтобы мы могли делегировать им задачи по программированию». Это означает, что ему больше не нужно осваивать программную инженерию для проведения экспериментов — облегчение, предположительно, для того, кто предпочёл бы доказывать теоремы, а не отлаживать код.

Обращаясь к скептикам сценариев крайнего риска ИИ, Цимерман признал «здоровую иммунную реакцию» на предсказания о конце света, но призвал людей записывать свои предсказания и сравнивать их с реальностью. «Если бы мы рассказали людям пять лет назад о тех ИИ-системах, которые у нас сейчас есть, почти все отреагировали бы с недоверием», — сказал он. Он надеется, что его статья о омнициде — да, это термин — заставит людей «наглядно понять, какие риски возможны».

В OpenAI Цимерман планирует сосредоточиться на безопасности, а не на возможностях. «Возможности и так развиваются неплохо», — пошутил он. Его роль? Математики могут помочь разработать теоретическое понимание ИИ-систем, которые сейчас являются «очень эмпирической наукой». Исторически математика превращала смутные интуиции в точные определения, как это было с теорией информации и теорией сложности. Немного точности могло бы помочь предвидеть и контролировать поведение ИИ — или, по крайней мере, дать нам лучшее представление о том, когда паниковать.

Что касается компромисса работы в частной компании, Цимерман признал его, но подчеркнул необходимость «здоровой экосистемы для безопасности ИИ», включая лаборатории, сторонние организации и т.д.