IPO를 앞두고, Anthropic이 바짝 추격하고, 중국과 오픈웨이트 경쟁자들이 바짝 뒤쫓는 상황에서 OpenAI가 가속페달을 밟을 이유는 충분하다. 그런데 화요일, 회사는 일부 AI 개발 속도를 늦추고 보안을 강화하겠다고 발표했다. 구체적으로, '배포 예정인 최신 모델'에 대한 강화학습 훈련을 2주간 중단하고, '가장 큰 계획된 프론티어 RL 실행'을 연기한다고 밝혔다. 이는 안전 옹호론자들이 수년간 주장해온 아이디어에 대한 매우 공개적인 시험이다: 기업들은 안전장치가 따라오지 못할 때 경쟁에서 물러날 의향이 있어야 한다는 것이다. 그러나 주변에서 경쟁이 계속되는 한, 속도를 늦추는 것이 실제로 어떤 성과를 거둘 수 있을까?

OpenAI가 가만히 있는 척하지 말자. 회사는 이를 '페이싱(pacing)'이라고 부르는데, 이는 업계 전문 용어가 된 모호한 표현이다. 속도 저하는 범위가 좁다: 배포용 모델에만 적용되며, 모델이 도주하여 실제 표적을 해킹할 수 있는 테스트를 실행하기 전에 보안을 강화하는 것이다. 반드시 전체 개발의 상당한 둔화를 의미하는 것은 아니다.

이런 초점에는 그럴 만한 이유가 있다. 지난달, OpenAI의 모델은 안전하다고 여겨지는 테스트 환경을 탈출하여 개발자 플랫폼 Hugging Face를 해킹했는데, OpenAI는 이를 인지하지도 못했다. 이 사건은 업계 전반의 검토를 촉발했고, OpenAI, Anthropic, Meta의 모델에서 유사한 사례가 발견되었다. 법률가들이 AI를 점점 더 주시하는 가운데, OpenAI가 재발을 피해야 할 이유는 충분하다.

외부에서 볼 때, 이번 중단이 얼마나 진정성 있는지 평가하기는 어렵다. 특히 최근 안전 팀 이탈과 대비 팀 해체를 고려할 때 더욱 그렇다. OpenAI는 The Verge의 논평 요청에 응답하지 않았다. 그러나 전문가들은 속도 저하를 진지하게 받아들일 이유가 있다고 말한다. Apollo Research의 CEO Marius Hobbhahn은 치열한 AI 경쟁에서 '모든 사람이 전속력으로 일할 인센티브를 가지고 있다. 자발적으로 속도를 늦추면 경쟁에서 불리해지므로, 연구소가 가볍게 결정할 일이 아니다'라고 지적한다.

이 결정은 OpenAI 자체의 Preparedness Framework 및 다른 회사의 안전 프레임워크와 일치한다고 GovAI의 연구원 Alan Chan은 말한다. 원칙은 다음과 같다: 완화 조치가 허용 가능한 위험 수준으로 만들 때만 개발을 계속한다. OpenAI는 2023년으로 거슬러 올라가는 프레임워크의 많은 부분을 모델 발전을 고려하여 검토하고 '진화'시킬 계획이다.

새로운 안전장치가 실제로 시스템을 더 안전하게 만들까? FAR.AI의 CEO Adam Gleave는 '이것은 잘 구현된다면 현재 세대의 에이전트가 해를 끼치는 것을 방지하기에 충분할 좋은 조치들이다. 핵심 질문은 능력이 증가함에 따라 OpenAI가 어떻게 속도를 유지할 것인가이다'라고 말한다.

그러나 더 큰 문제가 있다: 안전장치가 다시 실패한다면, 그때는 어떻게 할 것인가? 이번에는 OpenAI가 중단하도록 강제하는 것이 없었기 때문에, 그 의지가 의미 있었다. 그러나 그것은 또한 OpenAI나 다른 회사가 다음에도 같은 선택을 할 것이라는 보장이 없음을 의미한다.

기업이 스스로 규제하도록 의존하는 것은 위태롭다. 특히 인센티브가 계속 진행하도록 압박할 때 더욱 그렇다. The Future Society의 전무이사 Nick Moës는 자율 규제를 AI 안전의 핵심에 있는 구조적 문제라고 부른다. 그는 정부가 기업이 안전하지 않은 기술의 개발을 중단할지 여부를 결정할 수 있어야 한다고 주장한다. '이것은 대부분의 산업이 운영되는 방식이다'라며, 의약품, 건설, 항공기, 심지어 식당까지 AI보다 더 강력한 감독을 받고 있다고 지적한다.

자발적 조치는 또한 최저 공통 분모로 수렴할 위험이 있다. 속도를 늦추는 것이 비용이 든다면, 기업은 경쟁자가 받아들이는 수준만 채택할 것이다. 경쟁이 치열해지면서, OpenAI가 속도를 늦추는 동안 경쟁자들이 늦추지 않는다면, '단순히 Anthropic으로 대체될 것'이라고 Moës는 주장한다. '중단이 지속 가능하려면 업계 전반에 걸쳐 이루어져야 한다.'

지속 가능한 안전은 자발적 행동보다 더 강력한 무언가를 필요로 한다. 정부 감독이 도움이 될 수 있고, 독립적 검증도 도움이 될 수 있다. Chan은 AI를 모니터링하는 것이 더욱 복잡해짐에 따라 기업이 실제로 안전 조치를 구현하는지 확인하는 것이 중요할 것이라고 지적한다.