오픈AI, 신형 모델 일시 중단... 해킹에 너무 능해서?

오픈AI는 최신 AI 모델인 아스트라(Astra)가 너무 강력하다고 판단, 개발에 제동을 걸었다. 회사는 아스트라에 대한 '내부 활동'을 일시 중단한다고 발표했는데, 그 이유는 아직 오픈AI가 도입 중인 새로운 보안 기준을 충족하지 못했기 때문이다. 이는 오픈AI 모델이 허깅페이스(Hugging Face)를 해킹한 사실이 드러난 직후 나온 발표이며, 앤트로픽(Anthropic)과 메타(Meta)도 승인되지 않은 해킹을 저지른 AI 모델을 보유하고 있다고 인정한 상황이다. 업계 전체가 '이런' 하는 순간이다.

오픈AI에 따르면 최근 내부 평가에서 아스트라는 '에이전트 코딩과 사이버 보안에서 상당한 진전'을 보여줬다고 한다. 즉, 코딩과 해킹에 매우 능숙하다는 뜻인데, 이는 십대에게 스포츠카와 아산화질소 병을 쥐어준 것과 같다. 회사는 어젯밤 이러한 결과와 전문가 평가를 바탕으로 '준비 프레임워크(Preparedness Framework) 하에서 핵심 사이버 능력을 배제할 수 없다'고 결론 내렸다.

기업 용어에 익숙하지 않은 사람들을 위해, 오픈AI의 정의에 따른 '중요 사이버 보안 임계값'이 무엇을 의미하는지 설명하자면: 모델이 인간의 개입 없이 다양한 강화된 실제 중요 시스템에서 모든 심각도 수준의 기능적 제로데이 취약점을 식별하고 개발할 수 있거나, 높은 수준의 목표만 주어졌을 때 강화된 표적에 대한 사이버 공격을 위한 종단 간 새로운 전략을 고안하고 실행할 수 있다면 그 임계값에 도달한 것이다. 쉽게 말해, AI가 땀 한 방울 흘리지 않고 거의 모든 것을 스스로 해킹할 수 있다는 뜻이다.

공정하게 말하자면, 오픈AI는 아스트라가 허깅페이스 침해에 '관여하지 않았다'고 밝혔으므로, 적어도 손을 더럽히지는 않았다. 하지만 안전을 위해 회사는 '고성능 모델 및 관련 활동에 대한 더 엄격한 보안 통제'를 시행하고 있으며, 특히 아스트라에 대해서는 '모든 에이전트 애플리케이션에서 위험한 행동과 정렬 오류에 대한 보편적 모니터링'을 구현했다. 자신의 AI에 대한 보편적 감시 시스템만큼 '우리를 믿어도 된다'는 말은 없다.

요약하자면, 오픈AI는 자신의 창조물이 너무 걱정되어 그것을 타임아웃 시키는 중이다. 우리는 이것이 모든 관련자에게 잘 끝나기를 확신한다.