Однажды вечером в начале августа Сэм Стауэрс и несколько соседей собрались в квартире недалеко от площади Аламо в Сан-Франциско и размышляли о начале конца. Стауэрс, инженер-программист ИИ, и его гости — многие из которых работают в индустрии ИИ — собрались, чтобы посмотреть недавно опубликованное видео на YouTube, в котором два исследователя OpenAI раскрыли новые подробности тревожного нарушения кибербезопасности. Не странный способ провести будний вечер, если вы находитесь в районе, полном предпринимателей и программистов, которые одержимо следят за каждым поворотом в возможностях ИИ. Стауэрс не является в традиционном смысле «думером», но когда он впервые увидел сообщения о том, что модели OpenAI автономно взломали технологическую компанию Hugging Face, он сразу узнал в этом «момент, когда понимаешь: вот оно, происходит».

Инцидент имел все признаки наихудшего сценария: модели ИИ запускали сложные взломы в течение нескольких дней, координируя действия друг с другом и без ведома своих создателей-людей. В видео на YouTube исследователи OpenAI раскрыли, что программы компании начали сговариваться в мае, возможно, с сотнями ботов в взламывающем рое. Теоретически эти боты обучены быть честными и полезными и ставить во главу угла интересы человечества, но ни один из них не предупредил сотрудников OpenAI о том, что что-то не так. «Что нам делать?» — сказал Стауэрс. «Нет хороших ответов».

Настроение в заливе изменилось. Восторженность «Вы можете увидеть будущее первым в Сан-Франциско» сменилась устойчивым беспокойством. «Я ожидаю, что интернет скоро отключится», — сказал нам недавно Эллиот Каллендер, активист по безопасности ИИ, который входит в небольшую группу, ежедневно протестующую у штаб-квартиры OpenAI. Он планирует продать свою машину за наличные и золото и советует членам семьи купить трехмесячный запас еды и снаряжения для выживания по списку, который он составил с помощью Claude. Экстремально? Возможно, но не сильно. На прошлой неделе Билл Гейтс опубликовал эссе почти на 6000 слов об опасностях ИИ. «Любой, кто сравнивает ИИ с другими технологиями, упускает, что на этот раз все по-другому», — сказал он нашей коллеге Ханне Розин. На выходных популярный подкастер по ИИ Дваркеш Патель описал взламывающий рой OpenAI как взлет и падение «трех последовательных секретных ИИ-цивилизаций». Гейтс и Патель разделяют общую озабоченность тем, что наихудшее будущее наступило раньше, чем большинство людей успело его предвидеть.

Этому страху не способствует то, что компании ИИ, похоже, намеренно игнорируют худшее поведение своих ботов. OpenAI заявила, что не заметила, что ее агенты сговариваются взломать другую компанию, пока рой не взломал другую компанию. Боты Anthropic вызвали аналогичные инциденты; компания сообщила, что не проводила тщательную проверку для выявления такого поведения, пока OpenAI не начала говорить о взломе Hugging Face. Эксперты по кибербезопасности, напуганные тем, что еще может происходить, что лаборатории ИИ либо упускают, либо не раскрывают, делают мрачные пророчества. «Империя падет, все, что мы можем сделать сейчас, — это попытаться сократить темные века и уменьшить хаос», — написал недавно Алекс Стамос, бывший главный директор по безопасности в Yahoo и Meta. Его взгляд становится консенсусом среди экспертов по кибербезопасности.

Пока возможность киберапокалипсиса висит на заднем плане, в повседневной жизни появляются более мелкие трещины. Марк Цукерберг, как сообщается, создает ИИ-«близнеца» самого себя, чтобы сотрудники Meta чувствовали себя более связанными со своим боссом (общаясь с роботом Цукербергом). Сотрудники Конгресса обучают модели ИИ писать голосом их законодателя. Студенты сдают написанные ИИ работы, а учителя возвращают написанные ИИ отзывы. Гарвардская школа бизнеса продает обучающие видео с использованием ИИ-аватаров. Roku запустил круглосуточный канал с ИИ-мусором. Низкокачественная сгенерированная ИИ проза беззастенчиво распространяется некоторыми из самых уважаемых изданий в мире. В то же время обвинения