OpenAI создала LLM-суперхакера по имени GPT-Red, которого использует как спарринг-партнёра, чтобы помочь другим моделям укрепить свою защиту от кибератак. На прошлой неделе компания выпустила последнюю версию своего флагманского LLM, GPT-5.6. OpenAI утверждает, что тренировка с GPT-Red сделала эту модель самой надёжной из всех.

GPT-Red автоматизирует тип оценки безопасности программных систем, известный как red-teaming, который обычно выполняется командой людей-тестировщиков. Цель — найти как можно больше способов взломать или перехватить управление системой. Затем слабые места можно исправить до выхода финальной версии программного обеспечения.

Поскольку LLM становятся всё сложнее и используются в самых разных задачах — особенно в виде агентов, которые могут взаимодействовать с компьютерными файлами, веб-сайтами, сторонним кодом и другими агентами — командам людей всё труднее уследить за всеми возможными типами атак. «Поверхность риска растёт, и радиус поражения тоже», — говорит Нихил Кандпал, научный сотрудник OpenAI, соавтор GPT-Red.

OpenAI создала GPT-Red, чтобы обезопасить свой процесс тестирования на будущее. «По мере появления более мощных моделей мы уже будем иметь систему, способную обнаруживать новые способы атак», — говорит Дилан Ханн, научный сотрудник компании и ещё один соавтор GPT-Red. Исследователи утверждают, что он уже придумал новые типы атак, которые ранее не встречались.

OpenAI сосредоточила основные усилия на типе атак, известном как инъекция промптов, когда хакер вставляет LLM инструкции, заставляющие его делать то, что не нужно разработчикам или пользователям: копировать конфиденциальную информацию, саботировать кодовую базу компании или генерировать смущающий или вредоносный вывод. Теоретически такие инструкции могут быть спрятаны в любом тексте, с которым LLM может столкнуться — в коде или на веб-сайте, например.

Чтобы построить GPT-Red, исследователи OpenAI взяли LLM, который не был обучен как хакер, и поместили его в так называемый цикл самовоспроизведения с несколькими другими моделями. Его целью было атаковать другие модели; их целью было защищаться. После множества раундов игры GPT-Red становился всё лучше и лучше в атаке на другие LLM, а те LLM становились всё лучше и лучше в отражении атак.

Обучение проходило в своего рода додзё, которое OpenAI разработала для имитации различных сценариев, в которых LLM могут быть развёрнуты в реальном мире, включая просмотр веб-страниц, чтение электронных писем или календарей, а также редактирование кода.

Когда GPT-Red находил новый вид атаки, он исследовал несколько её вариантов, чтобы найти наиболее эффективный для конкретных сценариев. «По сравнению с человеком-редтимером, модель очень, очень хорошо находит то, что сработает, что наиболее эффективно», — говорит Ханн. «Она чрезвычайно настойчива в углублении атаки, которую обнаружила».

В частности, OpenAI утверждает, что GPT-Red нашёл тип инъекции промптов, который исследователи ранее не видели, и назвали его фальшивой цепочкой мыслей. Цепочка мыслей — это своего рода дневник, в котором LLM делает заметки для себя и отслеживает промежуточные результаты при решении задач. GPT-Red нашёл способ вставить фальшивую запись в цепочку мыслей другой модели, что заставляло эту модель действовать на основе поддельной информации.

«Это как если бы я сказал вам, что 1+1=3 и что вы уже это проверили», — говорит Крис Шоке-Шу, ещё один научный сотрудник команды. «Модель думает: "О, ладно, конечно" и просто выдаёт 3».

Джессика Цзи, старший аналитик-исследователь, работающий над безопасностью ИИ в Центре безопасности и новых технологий Джорджтаунского университета (CSET), считает, что цикл самовоспроизведения, использованный OpenAI, — хороший подход. «Результаты выглядят очень многообещающими», — говорит она.

OpenAI проверила, насколько хорошим атакующим был GPT-Red, повторив эксперимент 2025 года, в котором люди-редтимеры пытались найти уязвимости в более ранней версии GPT-5. Когда GPT-Red