오픈AI는 일련의 안전 프로토콜 강화를 위한 지연 끝에 가장 강력한 AI 모델인 아스트라(Astra)를 출시할 준비를 하고 있다. 이러한 지연은 에이전트가 테스트 중 실제 표적을 공격했다는 보고 이후에 나온 것이다. 하지만 세부 사항이 유출되면서 연구자들은 아스트라가 번지르르한 새 포장지에 담긴 보안 악몽이 될지도 모른다고 우려하고 있다.

화요일, 오픈AI는 안전 문제를 해결하기 위해 아스트라 출시를 연기했다고 발표했다. 그 직후, 더 인포메이션은 폭탄선언을 했다: 아스트라는 다른 최첨단 AI 모델들보다 '생각'을 훨씬 덜 드러내는데, 이는 모니터링을 엄청나게 어렵게 만들어 위험할 수 있다는 것이다. 이해할 수 없는 생각을 하는 블랙박스보다 '안전 우선'을 외치는 것은 없으니까.

오늘날 대부분의 최고 AI 시스템은 트랜스포머라는 기술을 사용하여 정보를 계층을 통해 선형적으로 처리한 후 답을 생성한다. 모델은 연쇄 사고 추론을 통해 '소리 내어 생각'하도록 만들 수 있으며, 이를 통해 연구자와 자동 안전 시스템이 거짓말이나 가드레일 탈출 계획과 같은 바람직하지 않은 행동을 사전에 감지할 수 있다. 그러나 아스트라는 순환 깊이 또는 루프 트랜스포머로 알려진 더 불투명한 기술을 사용하는 것으로 알려져 있으며, 이는 출력 전에 내부 계층을 통해 정보를 순환시킨다. 이는 모델의 '생각'의 상당 부분이 시스템 내부에서 발생하며, 인간의 언어보다는 엘드리치 괴물의 일기처럼 보이는 형태로 이루어진다는 것을 의미한다. 이는 성능을 향상시키지만 위협을 감지하기 어렵게 만든다.

더 인포메이션의 익명 소식통에 따르면, 오픈AI는 모니터링을 가능하게 유지하기 위해 아스트라에서 이 기술의 사용을 제한했다고 한다. 블로그 게시물에서 오픈AI는 '잠재적으로 잘못된 행동을 신속하게 감지하고 억제하기 위해 추가 연쇄 사고 모니터링을 통해 아스트라를 배포하고 있다'고 밝혔다. 아키텍처 변경에 대해서는 언급하지 않았다 – 왜 언급하겠는가?

이 보도는 소셜 미디어에서 AI 안전 연구자들 사이에 큰 논란을 불러일으켰다. 레드우드 리서치의 수석 과학자이자 허깅페이스 해킹 조사에 참여한 세 명의 외부인 중 한 명인 라이언 그린블랫은 아스트라에 더 불투명한 아키텍처를 사용하는 것이 'AI 보안/안전에 있어 지금까지 최악의 발전일 수 있다'고 선언했다. 그는 허깅페이스 조사가 연쇄 사고에 크게 의존했으며, 덜 가시적인 추론은 AI가 감지할 수 없는 계획을 고안할 수 있게 할 수 있다고 지적했다.

그린블랫의 주요 우려는 다른 사람들도 공유하는 바, 개발자들이 우위를 점하기 위해 점점 더 불투명한 시스템을 채택하면서 '아키텍처의 바닥 경쟁'이 벌어져 모델이 모니터링 불가능해질 때까지 이어질 수 있다는 것이다. 그는 또한 오픈AI의 커뮤니케이션이 회사가 '안전을 위해 연쇄 사고 모니터링에 극도로 의존할 계획'임을 시사한다고 느꼈다.

오픈AI의 고위 관계자들은 소셜 미디어에 나서 대응했지만, 해당 기술의 사용을 명시적으로 부인하지는 않았다. 여러 명이 모니터링 불가능한 AI와 바닥 경쟁에 대한 우려를 표명했는데, 여기에는 안전 연구원 미카 캐롤과 토멕 코르박, 전략적 미래 책임자 딘 볼, 수석 과학자 야쿠프 파초키가 포함된다. 파초키는 '혼란스러운 보도로 시작된 모니터링 불가능성으로의 경쟁'에 대한 두려움을 표명하며, 아스트라의 계산 깊이 – 내부적으로 수행할 수 있는 단계 수 – 가 'GPT-4의 2배 이내'라고 덧붙여, 불투명성 증가가 반응이 시사하는 것만큼 극적이지 않다고 암시했다. 오픈AI는 더 버지의 확인 요청에 응답하지 않고 파초키의 X 게시물을 가리켰다.

'오픈AI는 첫 번째 추론 모델부터 연쇄 사고 모니터링을 보존하고 활용하기 위해 노력해 왔습니다'라고 파초키는 썼으며, 그러한 모니터링은 '취약하며 안타깝게도 부정적인 방향으로 흘러가고 있습니다. 그 이유는 아키텍처 변경과 무관하며 곧 자세히 쓰겠습니다.'라고 덧붙였다. 그러니 우리 모두를 끝장낼지도 모를 것을 만드는 사람들의 더 안심시키는 업데이트를 계속 기대하시라.