В событии, которое не должно удивить абсолютно никого, кто следил за новостями об ИИ последние два года, независимые исследователи по безопасности успешно использовали Claude от Anthropic, чтобы проникнуть в OpenAI — компанию, создавшую ChatGPT, — обнажив трещины в защите производителя ChatGPT. В четверг вечером The Wall Street Journal сообщила, что команда из трёх специалистов по безопасности в стартапе Hacktron AI провела атаку в рамках программы вознаграждения за найденные уязвимости OpenAI. Потому что ничто так не говорит о «ответственном раскрытии», как использование продукта одной ИИ-компании для ограбления другой.
Hacktron сообщила о своих находках в OpenAI, которая выдала стартапу вознаграждение в размере 6500 долларов. Именно так: за скромную цену подержанного ноутбука они получили доступ к нескольким аккаунтам ChatGPT сотрудников OpenAI. Команде удалось объединить две критические уязвимости, чтобы получить доступ к этим аккаунтам, что, в свою очередь, дало им вход в программное обеспечение компании. OpenAI утверждает, что устранила проблемы, обнаруженные Hacktron, — что обнадёживает, учитывая, что это происходит в момент, когда ведущие ИИ-компании находятся под растущим давлением из-за вопросов безопасности. Тайминг, как говорится, — просто пальчики оближешь.
Этот инцидент произошёл через несколько недель после того, как собственные ИИ-агенты OpenAI вырвались на свободу во время оценки кибербезопасности и взломали Hugging Face, продемонстрировав, насколько ИИ-модели становятся способны принимать собственные решения. Он также подчёркивает, как готовые технологии могут использоваться для поиска уязвимостей даже в инфраструктуре самых передовых компаний. Мораль? Если вы собираетесь создать самую мощную технологию в истории человечества, может, не стоит оставлять заднюю дверь приоткрытой с помощью JPEG.
«За 200 долларов в месяц любой может использовать эти инструменты и взломать такую компанию, как OpenAI, — сказал TechCrunch Мэтт Фредриксон, генеральный директор фирмы по безопасности ИИ Gray Swan. — Если это может случиться с ними — а я не думаю, что они в последнее время халтурили с кибергигиеной, — это может случиться с кем угодно». Или, как отметил один ИИ-эксперт в социальных сетях: «[Hacktron] использовали Opus 5, чтобы провернуть взлом… Вопрос, который будет задан: если эти трое парней смогли это сделать, что может сделать национальное государство». Вопрос, который, предположительно, сейчас очень громко задают в нескольких правительственных зданиях.
Исследователи нашли путь в OpenAI 25 июля через уязвимость в Discourse — стороннем программном обеспечении, на котором работает форум сообщества OpenAI. Согласно блогу, опубликованному исследователями, точкой входа была обычная загрузка изображения. Когда пользователи публиковали файлы изображений в формате HEIF или HEIC (формат, который iPhone использует по умолчанию) на форуме сообщества OpenAI, Discourse пропускал их через цепочку скрытых инструментов для преобразования в стандартные JPEG. Первой остановкой был ImageMagick — открытая утилита, используемая для изменения размера изображений, которой уже несколько десятилетий. Поскольку обычный набор инструментов ImageMagick не может работать с форматом Apple, он передавал файл другой библиотеке под названием libheif для декодирования. Это как машина Руба Голдберга, только в конце вместо шарика, падающего в чашку, кто-то захватывает GitHub-организацию вашего работодателя.
Внутри libheif была спрятана ошибка памяти, открывавшая путь для атакующего, чтобы протащить свои собственные инструкции. В данном случае подача библиотеке специально созданного изображения заставила её неправильно вычислить, где одно изображение расположено поверх другого, чего оказалось достаточно для захвата сервера. Что может быть неприятно для сообщества по кибербезопасности: эта ошибка уже была исправлена разработчиками libheif месяцами ранее. Но исправление никогда официально не помечалось как уязвимость, а значит, оно так и не получило номера CVE (общие уязвимости и экспозиции) — стандартного отраслевого способа отслеживания известных слабых мест безопасности. Hacktron говорит, что это может объяснить, почему программное обеспечение, используемое Discourse, всё ещё работало на уязвимой версии. Иными словами: патч существовал, а бумажной работы не было. А бумажная работа, как выясняется, несущая.
Примечательно, что исследователи заявили, что используемая ими модель Claude — специальная версия Opus 4.