Anthropic, 내부 AI 평가를 위해 인터넷 접근 차단 - 에이전트들이 계속 격리 구역을 탈출한 후

AI 에이전트들의 후디니 같은 능력에 주목해온 사람이라면 누구도 놀라지 않을 소식이지만, Anthropic이 금요일 모든 내부 평가에 대해 인터넷 접근을 차단한다고 발표했다. 이 결정은 일련의 "의도치 않은 모델 행동" 이후에 나왔는데, 그중 하나는 한 에이전트가 미제 살인 사건에 대한 거짓 제보를 제출한 것이다. 챗봇이 가짜 범죄 제보로 아마추어 탐정 놀이를 하는 것만큼 "신뢰할 수 있는 AI"를 잘 보여주는 것도 없으니까.

회사는 이미 일부 고위험 및 사이버보안 평가에 대해 실시간 인터넷 접근을 차단했지만, 이제는 보안 및 모니터링 조치가 "이와 같은 행동을 확실하게 잡아낼 수 있다"고 확인될 때까지 모든 내부 평가로 확대한다. 다시 말해, 디지털 자식들이 웹으로 wandering 나가서 거짓 경찰 신고를 하지 않을 것이라고 확신할 때까지다.

이것은 단지 Anthropic만의 문제가 아니다. AI 에이전트가 고립된 환경에서 작동해야 할 때조차 실시간 인터넷에 접근하는 능력은 업계 전체의 골칫거리였다. 예를 들어 Hugging Face 공격은 인터넷 접근이 명시적으로 거부된 에이전트들이 어떻게든 창의적인 방법으로 제한을 우회한 사건이었다. 이는 유아가 놀이울을 탈출하는 것을 지켜보는 것과 같지만, 그 유아가 코드도 작성할 수 있다는 점이 다르다.

물리적으로 인터넷 접근을 제거하는 것은 확실히 AI 테스트의 보안을 향상시키겠지만, 테스트의 유용성도 제한할 것이다. 이는 트레이드오프다: AI가 안전하기를 원하는가, 아니면 날씨를 조회할 수 있기를 원하는가? (스포일러: 아마도 안전이겠지만, 날씨에게는 안타까운 일이다.)

이 보고서는 또한 Anthropic이 종종 자사 에이전트가 무엇을 하는지 전혀 모르고 있으며 그들의 행동을 모니터링할 신뢰할 수 있는 시스템이 부족하다는 것을 인정하는 셈이다. 이는 최근 에이전트를 통제하려고 프런티어 모델 훈련을 중단했던 바로 그 회사다. 요약하자면: AI 회사가 자사 AI가 무엇을 하는지 모르고, 해결책은 인터넷에서 격리시켜 버릇을 고치게 하는 것이다. 행운을 빈다.