오픈AI의 탈주 에이전트는 탈출한 게 아니다 - 사실상 지도와 무죄 석방 카드를 받은 셈이다

7월 16일, AI 커뮤니티 웹사이트 허깅페이스는 정체불명의 '자율 AI 에이전트 시스템'이 자사 도메인에 대량의 트래픽을 발생시켜 보안 로그에 17,000건 이상의 이벤트를 기록했고, 일부는 결국 데이터베이스에 저장된 비밀 정보를 빼내는 데 성공했다고 보고했다.

허깅페이스에 따르면, 공격자는 '제한된 내부 데이터셋과 서비스에 사용된 여러 자격 증명에 대한 무단 액세스'를 획득했으며, '자율 에이전트 프레임워크(에이전트 보안 연구 하네스로 보임 - 사용된 LLM은 아직 알려지지 않음)에 의해 실행된 것으로 보인다'고 밝혔다.

5일 후인 7월 21일, 오픈AI가 공격에 대한 책임을 인정하면서 상황은 걷잡을 수 없이 번졌다(이 사건의 일부로 다른 조직들도 표적이 되었다는 보도도 포함). 언론은 본질적으로 ChatGPT가 폭주하여 스스로의 의지와 악의로 허깅페이스 시스템을 공격하기로 결정한 것처럼 보이게 만드는 다양한 공포 마케팅 기사로 대응했다.

그리고 어제, 불에 기름을 부은 것은 Anthropic이 자사 모델이 지속적인 안전 테스트의 일환으로 다른 조직을 실수로 공격했다는 유사한 공개를 한 것이다.

오픈AI의 공개를 보도하면서 내가 언급했듯이, 허깅페이스의 주장은 맞다. 그것은 자율 보안 연구 프레임워크의 지시를 받는 에이전트였다. 그러나 인간이 분명히 루프 안에 있었고, 에이전트의 행동 중 적어도 일부는 예상되었어야 했다.

중요한 점은, 일부 평론가들이 암시한 것처럼 공격의 책임이 ChatGPT 자체에 있는 것이 아니라는 것이다. 오히려 공격은 오픈AI의 AI 안전 연구원들이 지시한 에이전트에 의한 것이었고, 그들은 인터넷에서 격리된 환경에서 AI 안전 테스트의 일환으로 일련의 익스플로잇을 시도하도록 의도적으로 프로비저닝했다. 다양한 프론티어 모델 연구소에서 자주 발생하는 일이지만, AI 안전 연구원들은 오픈AI의 최신 대규모 언어 모델(LLM)의 능력을 평가하려고 시도하고 있었다.

오픈AI가 '전례 없는 사이버 사건'이라고 부른 이 사건은 에이전트가 이론적으로 안전한 격리 환경을 탈출하여 허깅페이스 시스템에 혼란을 일으킨 것으로 널리 묘사되었다. 이러한 격리 환경은 기술계에서 '샌드박스'로 논의되기도 한다. 오픈AI의 공개에서도 '샌드박스 환경'을 언급한다. 그러나 그 표현을 사용하면서, 내 소식통들은 그 환경이 실제 타사 샌드박스 솔루션(예: Blaxel, Daytona, E2B, Modal)이 아니라 샌드박스를 에뮬레이션하도록 구성된 방화벽일 수 있다고 제안했다. 오픈AI는 사용 중인 솔루션 또는 제공업체의 세부 사항을 아직 공개하지 않았다.

에이전트와 샌드박스 탈출에 대한 모든 논의는 ZDNET의 편집자가 '에이전트가 샌드박스를 어떻게 탈출하며, 재발을 방지할 수 있는가?'라고 묻게 만들었다. 답을 찾기 위해 나는 오픈AI와 허깅페이스에 연락했다. 둘 다 응답하지 않았다. 그러나 두 회사의 공개 정보와 다른 소식통을 종합하면 그러한 '탈출'이 어떻게 발생할 수 있는지 추측하기에 충분한 정보가 있다.

악의와 행위 주체성 사이에는 큰 차이가 있다. 공격이 의심할 여지 없이 악의적인 침입이었지만, 관련 에이전트 자체는 악의를 품지 않았다. 그것은 어느 날 아침에 일어나 허깅페이스 시스템을 공격하기로 결정한 것이 아니다. 대신, 그것은 안전 테스트를 시작하고, 제약을 벗어나고, 표적을 선택하고, 그 표적을 착취하는 모든 일을 인간에 의해 매우 냉담하게 수행할 수 있는 행위 주체성을 부여받았다.

그 행위 주체성 중 일부는 설계에 의한 것이었고, 일부는 당시 오픈AI의 AI 안전 테스트 인력이 테스트하던 강력한 LLM에서 상속된 것이다. 또한, 오픈AI가 이 특정 안전 연구를 수행하기 위해 ExploitGym 오픈 소스 AI 테스트 솔루션을 사용한 경우, 그 행위 주체성 중 일부는 테스트를 안전하게 격리하기 위한 타사 '샌드박스 환경'과 허깅페이스의 일부에서 이전에 발견되지 않은 취약점의 결과였다.