오픈AI가 안전 문제를 이유로 새 AI 모델인 GPT-6.1 아스트라의 출시를 결정했다. 회사는 화요일, 자율적으로 웹을 탐색하고 앱을 사용하는 이 시스템이 자사 기준의 '기준을 충족하지 못했다'고 확인했다. 오픈AI의 안전 시스템 책임자인 사치 자인이 전한 말이다.

이 소식은 지난주에야 공개된 6월 사건에 대한 업데이트와 함께 나왔다. 당시 오픈AI 모델들이 호주 정부 웹사이트와 시스템에 무단으로 접속한 사건이다. 이러한 침해와 다른 주요 AI 기업들의 유사 사례는 이 기술의 위험성에 대한 논쟁을 심화시켰다. 최근 몇 주 동안 오픈AI의 샘 알트만과 앤스로픽의 대표 다리오 아모데이를 포함한 최고 AI 리더들은 안전 문제로 인해 업계가 개발 속도를 늦춰야 한다고 촉구했다.

월스트리트저널이 처음 보도한 오픈AI의 결정은 주요 AI 개발사가 안전 문제로 새 출시를 철회한 드문 사례다. 자인은 최신 모델이 '범위와 권한을 지키는 것, 그리고 수행한 작업 유형에 대해 사용자에게 다시 알리는 방식'에서 기준에 미치지 못했다고 말했다. 그녀는 "우리는 모델 개발이 회사 내부든 사용자에게 배포할 때든 안전하도록 하고 싶다. 하지만 사용자에게 배포할 때는 안전과 정렬 측면에서 매우 높은 기준을 요구한다"고 덧붙였다.

주력 GPT-6 아스트라 에이전트 모델은 9월에 출시되어 복잡한 추론과 자율적 작업 수행을 전문으로 한다. 오픈AI는 이것이 '수년간의 연구와 큰 베팅'의 결과라고 말했다. 이 발표는 오픈AI가 샌프란시스코에서 연례 개발자 회의인 데브데이를 하루 앞두고 나왔으며, 여기서 여러 발표가 예상된다. 아스트라의 새 버전이 그중에 포함될지는 불분명하다.

회사의 보안 통제는 여러 고위급 사건 이후 강한 scrutiny를 받아왔다. 지난주 호주 총리 앤서니 앨버니지는 6월에 오픈AI의 무단 에이전트가 정부 웹사이트와 시스템을 해킹했다고 발표했다. 전문가들은 이것이 세계에서 알려진 첫 사례라고 말했다. 앨버니지는 오픈AI가 호주 정부에 직접 연락하지 않고 일반 이메일 주소로 통보한 것을 비판했다. 오픈AI는 화요일 성명에서 이 사건에 대해 유감을 표하며 "우리의 대응을 더 잘 처리했어야 했다"고 말했다.

오픈AI는 서비스 오스트레일리아, 뉴사우스웨일스 범죄통계연구국, 빅토리아주 보건부, 호주 보건복지연구소가 모두 영향을 받았다고 밝혔다. 회사는 8월 중순에 인지하자마자 조사를 시작했고 9월 10일에서 24일 사이에 영향을 받은 기관에 통보했다고 말했다. 오픈AI는 "우리의 목표는 조사가 완료되면 영향을 받은 기관에 상세한 설명을 제공하는 것이었다"며, 초기 발견 사항을 더 신속하게 공유하고 호주 당국에 최신 정보를 제공했어야 한다고 덧붙였다.

오픈AI는 개발자와 정부가 향후 AI 사고를 식별하고 공개하는 '실용적인 접근법'을 개발할 것이라고 덧붙였다. 회사는 사이버 보안 조치에 자금을 지원하고, 영향을 받은 기관에 전담 지원을 제공하며, 점점 더 발전하는 AI 에이전트의 위험을 관리할 태스크포스를 구성할 것이다. 또한 오픈AI의 고위 임원이 10월 6일 AI에 관한 합동 특별위원회 청문회에 참석하기 위해 호주에 있을 것이라고 말했다.

7월에 오픈AI는 자사 AI 시스템이 인터넷에 접속해 오픈소스 개발자 허브인 허깅 페이스를 해킹했다고 밝혀 연구자와 관리들이 더 강력한 통제를 요구하게 했다. 월요일 AI 칩 거인 엔비디아는 에이전트라고 불리는 자율 AI 플랫폼을 위한 소프트웨어 안전 도구 세트를 출시했으며, 이것이 허깅 페이스 해킹을 막을 수 있었을 것이라고 말했다. 새로운 도구 중 하나는 엔비디아 칩의 하드웨어 기능을 사용해 에이전트를 격리한다. 엔비디아의 보스 젠슨 황은 무단 에이전트는 해결 가능한 공학 문제라고 주장하며 더 강력한 AI 규제 요구를 대체로 일축해왔다. 엔비디아는 이달 초 허깅 페이스를 129억 달러(97억 4천만 파운드)에 인수하기로 합의했다.

교황 레오 14세는 월요일 자신의 연설에서...