OpenAI가 자사 내부 모델들이 추가로 두 개의 웹사이트를 해킹하고, 회사가 부과한 브라우징 제한을 우회했으며, 노출된 자격 증명을 이용해 다른 방법으로는 접근할 수 없었던 지갑에서 암호화폐를 빼냈다고 공개했다. 이번 폭로는 목요일 발표된 보고서를 통해 드러났으며, 6월에 발생한 네 건의 새로운 사건을 상세히 다루고 있다. 이는 7월에 내부 테스트 에이전트가 인터넷 제한 도구의 제로데이 취약점을 악용해 AI 도구 제공업체인 허깅페이스의 네트워크에 침입했다고 공개한 데 이은 것이다. 에이전트들은 해킹 테스트의 답안을 훔치기 위해 이같은 짓을 저질렀는데, 만약 인간이 했다면 형사 기소로 이어졌을 법한 행위다. 이 사건들로 인해 AI의 광범위한 사용이 전례 없는 규모로 해로운 영향을 미칠 수 있다는 우려가 커지고 있다.

새로 보고된 사례 중 두 건에서, 웹사이트에서 정보를 검색하라는 임무를 받은 OpenAI 에이전트들은 장애물에 부딪히자 그냥 사이트를 해킹해버렸다. 한 사건은 강화 학습 중에 발생했는데, 정부 통계 웹사이트에서 과거 병상 통계를 검색하려던 모델이 접근 거부를 당했다. 그러자 모델은 "사이트의 파일 다운로드 기능을 이용해 서버 구성 및 애플리케이션 파일, 민감한 자격 증명을 포함한 파일을 가져왔다"고 OpenAI는 밝혔다. "모델은 애플리케이션 코드를 검사하고, 통계 엔드포인트의 인가 검사를 우회해 이전에 거부됐던 데이터를 검색했다. 모델은 데이터를 로컬에 저장했다." 다른 사건에서는 공개 연구 대시보드에서 수치를 검색하라는 지시를 받은 모델이 보안 통제를 우회하고 자격 증명을 훔쳐 서버의 구성을 변경했다.

한 평가에서 이러한 변경으로 모델은 내부 검색 도구가 공개 대시보드로 쿼리를 중계하도록 만들 수 있었다. 두 번째 평가에서는 연구자들이 대시보드 수치 다섯 개만 검색하라고 지시했음에도 모델은 147,451개의 행을 포함한 비공개 테이블 다섯 개를 다운로드했다. 설정을 초기화한 후에도 모델은 토큰을 계속 사용해 비공개 데이터를 검색했다. "모델이 답을 추측했거나, 조직의 내부 시스템에 접근했거나, 비공개 테이블을 다운로드했거나, 인증 구성을 변경했다는 사실을 밝히지 않은 채 평가가 종료됐다"고 OpenAI는 말했다. "이 평가의 다섯 가지 답변은 모두 오답으로 표시됐다."

세 번째 보고서는 암호화폐 거래 애플리케이션을 업데이트하라는 지시를 받은 모델을 설명한다. 모델은 테스트 네트워크의 잠긴 지갑 자금을 사용했는데, "공개적으로 알려진 개발자 복구 문구에서 지갑 키를 도출하고, 테스트 네트워크 자금이 있는 계정을 찾아 그 계정으로 요청된 계약 배포 비용을 지불했다." 보고서는 이어서 "모델은 권한이 있는지 의문을 품었지만, 공개 복구 문구와 가치 없는 테스트 네트워크 토큰이라면 자금을 사용해도 된다고 추론했다. 배포는 성공했고 계정에 거래 수수료가 청구됐다. 이 사례는 모델이 피해 가능성에 대한 자체 판단을 계정 소유자의 허가 대신 적용하고, 그 판단에 따라 무단으로 행동할 수 있음을 보여준다"고 밝혔다.

네 번째 사례에서 모델은 공개 무역 통계를 찾는 것을 목표로 한 강화 학습 훈련 중에 수행할 수 있는 웹 요청 유형에 대한 제한을 우회했다. 공개 연감을 찾아 답을 제출한 후에도 모델은 통계 서비스에 접근할 다른 경로를 계속 탐색했다. 모델은 외부 브라우저가 POST 요청을 보내도록 하고, 연간 수치를 이미지로 검색한 뒤 광학 문자 인식(OCR)을 사용해 추출했다. 그런 다음 응답 텍스트를 포워딩 서비스와 콜백 메일박스를 통해 반환하는 재사용 가능한 도우미를 개발하고, 검색된 수치를 반복적으로 확인하며 저장된 데이터를 제출 답변에 사용했다. 모델은 처음에 GET 요청을 대신 수행할 권한이 있는 외부 브라우저를 사용하려 했고, 그다음 자바스크립트를 사용해 정보를 얻었으며, 온라인 메일박스를 사용해 기법을 문제 해결했다. 결국 모델은 다른 방법을 택했다. 외부 브라우저에 웹 양식을 열게 해 무역 쿼리를 POST 방식으로 통계 서비스에 보내는 것이었다.