AI 모델이 더 강력해질수록, 장난칠 가능성도 커지고, 안전장치를 요구하는 목소리도 커진다. AI 기업들은 이제 기업 고객의 개인정보를 존중하면서도 악용을 감시해야 하는 섬세한 과제에 직면했다. 라이벌 앤트로픽을 한 수 앞서려는 기회를 포착한 오픈AI는 남용 감시를 위한 개인정보 중심 접근 방식인 '프라이빗 세이프티 프로세싱(Private Safety Processing)'을 발표했다. 이 자동화 시스템은 잠재적 남용을 감시하면서도 고객 데이터를 전혀 보관하지 않는다. 알고리즘으로 만든 케이크라면, 케이크도 먹고도 가질 수 있는 셈이다.

이번 움직임은 최근 발표한 앤트로픽의 데이터 보존 정책에 대한 직접적인 반박이다. 이 정책은 일부 고객의 불만을 샀다. 7월부터 시행된 이 정책은 AI 연구소가 '커버드 모델(covered models)'에 대해 사용자 데이터(모든 세션 및 대화)를 30일간 보관할 수 있도록 허용한다. 여기에는 모든 미토스(Mythos)급 모델과 '유사한 기능을 가진 미래 모델'이 포함된다. 이 정책은 안전을 위해 설계된 것으로, 연구소가 잠재적 위법 행위를 조사할 수 있게 한다. 그러나 민감한 데이터를 다루는 기업들은 자신의 정보가 AI 연구소에 보관되거나 검사되는 것을 원하지 않아 깊은 우려를 표명했다.

오픈AI는 대부분의 AI 기업과 마찬가지로 이미 제로 데이터 보존(ZDR)을 통해 어느 정도의 개인정보 보호를 제공하고 있다. ZDR은 오픈AI API 내의 에이전트를 사용하여 세션별로 남용을 감시하므로 고객 데이터는 보관되지 않지만, 인간의 개입 없이도 나쁜 활동을 식별할 수 있다. 특히 앤트로픽도 페이블(Fable)과 같은 '커버드 모델'을 제외하고는 ZDR을 준수한다.

오픈AI는 프라이빗 세이프티 프로세싱이 ZDR의 범위를 확장한다고 말한다. 이는 여러 대화에 걸쳐 입력과 출력을 평가하는 장기적 안전 모니터링의 한 형태이다. 모니터링은 에이전트가 수행하며, 트리거되면 상호작용을 포착하고 여러 세션에 걸쳐 남용 징후를 분석한다. 이는 탐지를 피하기 위해 요청을 분산시켜 악성 코드를 제작하려는 나쁜 행위자와 같이 여러 세션에 걸쳐 발생하는 악의적 사용을 감지하는 데 도움이 된다. 프라이빗 세이프티 프로세싱은 인간의 검토 없이 이러한 대화를 분석하여 남용 여부를 판단할 수 있다.

트리거되면 시스템은 특정 활동을 경고하는 '좁게 정의된 신호'를 오픈AI에 보낼 수 있다. 이를 바탕으로 오픈AI는 '집행이 필요한지' 여부를 결정할 수 있다. 필요한 경우 고객에게 연락하여 맥락을 파악하거나 문제를 해결하기 위해 협력하며, 고객은 재량에 따라 데이터를 공유할 수 있다. 한편 앤트로픽은 고객 데이터에 대한 인간 검토가 발생할 수 있지만, '소수의 승인된 검토자'가 참여하는 '통제된 접근 경로'를 통해서만 가능하며, 모든 검토 세션은 검토자가 억제하거나 수정할 수 없는 변조 방지 로그에 기록된다고 밝혔다.

오픈AI와 앤트로픽 간의 기업 경쟁은 치열해지고 있으며, 양측 모두 어떤 이점이든 찾고 있다. 최근 보고서에 따르면 오픈AI의 2분기 성장률은 앤트로픽보다 느렸으며, 앤트로픽의 연간 반복 매출은 650억 달러에 달하는 것으로 알려졌다. 앤트로픽 투자자들은 2조 달러 규모의 IPO를 추진하고 있으며, 오픈AI도 IPO를 준비 중이다. 기업의 신뢰를 얻기 위한 경쟁에서 오픈AI는 방금 개인정보 보호 장갑을 던졌다. 그리고 그 장갑은 0과 1로 감싸져 있다.