오픈AI가 GPT-Red라는 LLM 슈퍼 해커를 만들었다. 이 해커는 다른 모델들이 사이버 공격에 대한 방어력을 키우도록 스파링 파트너 역할을 한다. 지난주 회사는 주력 LLM의 최신 버전인 GPT-5.6을 출시했다. 오픈AI는 GPT-Red와의 훈련 덕분에 이 모델이 지금까지 가장 강력한 버전이 되었다고 말한다.

GPT-Red는 소프트웨어 시스템에 대한 안전 평가 유형인 레드팀(red-teaming)을 자동화한다. 이 작업은 보통 인간 테스터 팀이 수행한다. 목표는 시스템을 깨거나 하이재킹할 수 있는 다양한 방법을 최대한 많이 찾는 것이다. 약점은 최종 소프트웨어 버전이 출시되기 전에 패치될 수 있다.

LLM이 더 복잡해지고 더 다양한 작업에 사용됨에 따라, 특히 에이전트 형태로 컴퓨터 파일, 웹사이트, 타사 코드 및 다른 에이전트와 상호작용할 수 있게 되면서, 인간 팀만으로는 발생할 수 있는 모든 유형의 공격을 따라잡기 어렵다. "위험 표면이 커지고 폭발 반경도 커집니다,"라고 GPT-Red를 공동 창작한 오픈AI 연구 과학자 Nikhil Kandpal이 말한다.

오픈AI는 안전 테스트 프로세스를 미래에도 대비하기 위해 GPT-Red를 구축했다. "더 강력한 모델이 가능해짐에 따라, 우리는 이미 새로운 공격 모드를 발견할 수 있는 시스템을 설계했을 것입니다,"라고 회사의 연구 과학자이자 GPT-Red 공동 창작자 Dylan Hunn이 말한다. 연구자들은 GPT-Red가 이전에 본 적 없는 새로운 유형의 공격을 이미 찾아냈다고 말한다.

오픈AI는 프롬프트 인젝션(prompt injection)이라는 공격 유형에 대부분의 노력을 집중했다. 이는 해커가 LLM에 지시를 몰래 넣어 개발자나 사용자가 원하지 않는 행동을 하게 만드는 것이다. 예를 들어 기밀 정보를 복사하거나, 회사의 코드 베이스를 방해하거나, 당황스럽거나 해로운 출력을 생성하는 것이다. 이론적으로 이러한 지시는 LLM이 마주칠 수 있는 모든 텍스트(예: 코드나 웹사이트)에 숨겨질 수 있다.

GPT-Red를 구축하기 위해 오픈AI 연구자들은 해커로 훈련되지 않은 LLM을 가져와 여러 다른 모델과 함께 소위 자기 놀이 루프(self-play loop)로 설정했다. GPT-Red의 목표는 다른 모델을 공격하는 것이었고, 다른 모델의 목표는 스스로를 방어하는 것이었다. 여러 라운드의 플레이를 통해 GPT-Red는 다른 LLM을 공격하는 데 점점 더 능숙해졌고, 그 LLM들은 공격을 막아내는 데 점점 더 능숙해졌다.

훈련은 오픈AI가 LLM이 실제 세계에서 배포될 수 있는 다양한 시나리오(웹 브라우징, 이메일이나 캘린더 앱 읽기, 코드 편집 등)를 모방하도록 설계한 일종의 도장(dojo)에서 이루어졌다.

GPT-Red가 새로운 유형의 공격을 발견하면, 특정 시나리오에 가장 효율적인 공격을 찾기 위해 여러 버전을 탐색했다. "인간 레드팀원과 비교하면, 모델은 정확히 무엇이 통할지, 무엇이 가장 효과적인지 찾는 데 매우 능숙합니다,"라고 Hunn이 말한다. "발견한 공격을 파고드는 데 극도로 끈질깁니다."

특히 오픈AI는 GPT-Red가 연구자들이 이전에 본 적 없는 유형의 프롬프트 인젝션 공격을 발견했다고 주장한다. 이를 가짜 사고 체인(fake chain of thought)이라고 부른다. 사고 체인은 LLM이 문제를 해결하면서 스스로 메모를 하고 중간 결과를 추적하는 일종의 일기장이다. GPT-Red는 다른 모델의 사고 체인에 가짜 항목을 삽입하여 그 모델이 조작된 정보에 따라 행동하도록 속이는 방법을 찾았다.

"마치 내가 1+1=3이라고 말하고 이미 확인했다고 말하는 것과 같습니다,"라고 팀의 또 다른 연구 과학자 Chris Choquette-Choo가 말한다. "모델은 '아, 그래, 물론이지' 하면서 그냥 3을 내뱉습니다."

조지타운 대학교 안보 및 신흥 기술 센터(CSET)에서 AI 보안을 연구하는 선임 연구 분석가 Jessica Ji는 오픈AI가 사용한 자기 놀이 루프가 좋은 접근법이라고 생각한다. "결과가 매우 유망해 보입니다,"라고 그녀는 말한다.

오픈AI는 GPT-Red가 얼마나 좋은 공격자인지 테스트하기 위해 2025년의 실험을 재실행했다. 그 실험에서는 인간 레드팀원들이 이전 버전의 GPT-5에서 약점을 찾으려고 시도했다. GPT-Red가