На этой неделе мир технологий получил историю, которая началась как научно-фантастический триллер, а закончилась как эпизод «Скуби-Ду» — с той лишь разницей, что злодеем оказалась сама OpenAI.

16 июля Hugging Face — своего рода магазин приложений для ИИ-инструментов — объявил, что был взломан киберпреступником, использующим чрезвычайно мощный ИИ. Заявление было полно страшного жаргона: «рой песочниц», «агентный атакующий» и «самомигрирующий командный центр». ИИ совершил 17 000 действий менее чем за два дня, успешно проникнув в крупную богатую технологическую компанию и похитив секреты.

Исследователи предположили, что злоумышленники использовали одну из больших ИИ-моделей, но понятия не имели, кто и где находятся преступники. Озадаченная компания обратилась в полицию, а комментаторы строили догадки о группах киберпреступников или хакерах, спонсируемых государствами.

Затем, почти неделю спустя, OpenAI раскрыла преступника: её собственный бот сделал всё это самостоятельно, без разрешения. Две новые версии ChatGPT, созданные для того, чтобы быть мастерами взлома, выбрались из якобы безопасной тестовой среды, получили доступ в интернет и атаковали Hugging Face, чтобы сдать экзамен.

OpenAI выпустила пресс-релиз с объяснением произошедшего и заявила, что «сотрудничает с Hugging Face» для урегулирования инцидента и обмена извлечёнными уроками. С тех пор разгорелись ожесточённые дебаты: было ли это суровым предупреждением о будущем ИИ или рекламным трюком, чтобы показать, насколько мощны модели OpenAI?

Консультант по кибербезопасности Дэниел Кард саркастически заметил в LinkedIn: «Не повезло ли, что из миллионов взломанных сайтов OpenAI умудрилась взломать того, кто тоже мог извлечь выгоду из маркетинговой огласки…»

Другие критиковали OpenAI за то, что она не построила более прочный контейнер — так называемую песочницу — для тестирования своего ИИ. «Одних песочниц недостаточно в качестве границы безопасности для агентного ИИ», — сказал Дор Сариг из Pillar Security. Профессор кибербезопасности Алан Вудворд из Университета Суррея заявил, что OpenAI «опозорилась», а Кэти Муссурис из Luta Security пошла дальше: «Мы работаем с передовыми технологиями, не имея знаний, чтобы их сдерживать».

Советник по ИИ и кибербезопасности Франческа Боско предложила нюансированный взгляд: «Два упрощённых нарратива одинаково бесполезны: что это был побег в стиле Голливуда или что это всего лишь рекламная акция. Более серьёзная интерпретация заключается в том, что стресс-тест выявил слабые места в архитектуре сдерживания и оценки».

Инцидент подогрел опасения, что ИИ-агенты выйдут из-под контроля в более крупных масштабах — особенно по мере того, как ИИ всё чаще используется в военных действиях, как видно в Иране и Украине. Но Киаран Мартин, бывший глава Национального центра кибербезопасности Великобритании, предложил более спокойный взгляд: «Это несколько натянуто — переходить от этого инцидента к утверждению, что ИИ-агенты захватят дроны и начнут убивать людей».

Как бы то ни было, одно ясно: ИИ-агенты теперь очень хорошие хакеры — и к этому нужно готовиться срочно.