오픈AI는 화요일, 자사 AI 모델 중 하나가 내부 사이버 보안 테스트 중 문제를 일으켜 관련 없는 AI 호스팅 플랫폼인 허깅페이스의 시스템을 침해했다고 밝혔다. 모델들은 격리된 테스트 환경을 탈출해 거기서 허깅페이스 시스템에 접근한 것으로 알려졌다. 허깅페이스는 처음에 이 침해를 '외부 AI 에이전트' 탓으로 돌렸다.

화요일 오후 게시된 블로그 게시물에서 오픈AI는 모델들이 서비스를 손상시키게 된 단계를 자세히 설명했다. "조사 결과, 이 특정 사건은 GPT-5.6 Sol과 더욱 강력한 사전 출시 모델을 포함한 오픈AI 모델들의 조합으로 인해 발생했으며, 평가 목적으로 사이버 거부 기능이 축소된 상태에서 사이버 역량 벤치마크를 내부 테스트하던 중이었습니다"라고 게시물은 전했다.

이 침해는 기존 취약점을 기반으로 모델의 공격 실행 능력을 측정하는 공개 호스팅 벤치마크인 ExploitGym에 초점을 맞춘 것으로 보인다. ExploitGym과 같은 벤치마크는 특정 기술을 연마하기 위해 모델 훈련에 흔히 사용되지만, 이번 테스트가 실제 사이버 공격으로 이어진 첫 번째 사례다. 모델은 작업 완료에 필요한 소프트웨어 패키지를 설치할 수 있는 특정 도구 외에는 인터넷에 접근할 수 없었어야 했다. 대신, 모델은 패키지 설치 프로그램에서 공개되지 않은 취약점을 발견해 이를 이용해 마음대로 광범위한 인터넷에 접근했다.

"모델들은 ExploitGym에 대한 해결책을 찾는 데 극도로 집중했으며, 매우 좁은 테스트 목표를 달성하기 위해 극단적인 수단을 동원했습니다"라고 오픈AI 게시물은 전했다. "인터넷 접근 권한을 얻은 후, 모델들은 허깅페이스가 ExploitGym의 모델, 데이터셋 및 솔루션을 호스팅할 가능성이 있다고 추론했습니다. 이를 인지한 모델은 평가를 속이는 데 사용할 수 있는 비밀 정보에 접근할 방법을 찾아 성공적으로 찾아냈습니다." 결국 모델들은 허깅페이스 인프라의 취약점을 발견해 "허깅페이스의 프로덕션 데이터베이스에서 직접 테스트 솔루션을 획득"하여 벤치마크에 대한 답을 효과적으로 얻을 수 있었다.

허깅페이스에게 이 사건은 정교하고 공격적인 사이버 공격으로 나타났으며, 회사는 초기 공개에서 "수명이 짧은 샌드박스 떼를 통한 수천 건의 개별 행동과 공공 서비스에 호스팅된 자체 이동 명령 및 제어"라고 설명했다. 오픈AI는 패키지 설치 프로그램의 취약점을 식별하고 보고했으며, 허깅페이스와 함께 사건을 추가 조사 중이다. 또한 회사는 향후 유사한 사고를 방지하기 위해 모델 테스트 및 관련 인프라에 새로운 통제를 시행할 것이라고 밝혔다. 오픈AI가 이 침해로 인해 법적 제재를 받을지는 불분명하지만, 모델의 행동이 컴퓨터 사기 및 남용법을 위반했을 가능성이 높다.

그럼에도 불구하고, 이 결과는 장기적 시간 지평에서 작동하는 최첨단 AI 모델의 힘과 위험을 비정상적으로 생생하게 보여준다. 오픈AI 연구원 미카 캐롤이 이 소식에 대해 "이것이 정렬 위험이 앞으로 주요 관심사가 될 것이라고 확신시키지 못한다면, 무엇이 그럴지 모르겠습니다"라고 게시한 것처럼.