Anthropic이 글로벌 금융 감독 기관과 자사의 Claude Mythos AI 모델에 대해 아주 진지한 대화를 나눌 예정이다. 이 모델은 사이버 방어를 무너뜨릴 잠재력 때문에 전문가들이 염산 냄새를 맡게 만들고 있다.
미국 스타트업은 영국 중앙은행 총재 앤드루 베일리가 의장을 맡고 있는 금융안정위원회(FSB)에 Mythos의 영향에 대해 브리핑할 것이다. IT 시스템의 허점을 찾는 데 매우 능숙한 AI를 세상에 풀어놓으면 무슨 일이 일어날까? 아무 일도 일어나지 않겠지?
Anthropic은 현명하게도 Mythos를 대중에게 공개하지 않기로 결정했다. 이 AI 모델은 IT 시스템에서 이전에 알려지지 않은 결함을 찾아내는 고급 기능을 가지고 있으며, 해커들이 악용하고 싶어할 결함이다. 대신, 이 회사는 Apple과 JP모건을 포함한 선별된 기술 기업과 은행에 접근 권한을 부여하여 AI가 찾아낼 수 있는 약점을 식별하도록 도왔다. 파이낸셜 타임즈가 처음 보도한 FSB 계획은 규제 기관과 Anthropic 간의 논의에 정통한 소식통에 의해 확인되었다.
영국 AI 보안 연구소(AISI)는 고급 AI 모델을 평가하며, 은행과 기술 기업에 출시된 버전을 면밀히 조사한 후 지난주 Mythos에 대한 업데이트된 평가를 발표했다. 최신 버전은 이전 달에 테스트된 프리뷰 버전보다도 "눈에 띄는 능력 향상"을 나타냈다고 밝혔다. AISI는 최신 버전의 Mythos가 이전에 해결되지 않은 사이버 보안 테스트인 "cooling tower"를 10번 중 3번 완료했다고 언급했다. 이는 연구소가 테스트한 어떤 모델에서도 처음 있는 일이다.
"프론티어 AI의 자율적 사이버 및 소프트웨어 능력은 빠르게 발전하고 있습니다: 프론티어 모델이 자율적으로 완료할 수 있는 사이버 작업의 길이는 몇 년이 아닌 몇 개월 단위로 두 배로 늘어나고 있습니다,"라고 AISI는 말하며, AI 모델의 진행 상황을 추적하기 위해 새롭고 더 어려운 해킹 테스트를 개발 중이라고 덧붙였다. 예전 테스트로는 더 이상 충분하지 않은 모양이다.
FSB는 글로벌 금융 시스템을 모니터링하고 권고를 제공하며, 미국, 영국, 호주, 중국 등 주요 경제국의 관리들을 포함한다. 운영 위원회에는 주요 중앙은행 및 재무부 고위 관리들이 포함된다. 이번 달 국제통화기금(IMF)은 AI의 "빠르게 움직이는" 발전으로 인해 금융 안정 위험이 증가하고 있으며, 이에 대한 공동 대응을 촉구했다. "사이버 위험은 국경을 존중하지 않습니다. AI 능력이 국가 간에 확산됨에 따라 일관성 없는 감독은 글로벌 상호 연결 시스템을 약화시킬 수 있습니다,"라고 IMF는 블로그 게시물에서 과장을 피하지 않고 말했다.
지난달 골드만삭스 CEO 데이비드 솔로몬은 Mythos의 능력에 대해 "과도하게 인식하고 있다"고 말했으며, JP모건의 제이미 다이먼은 AI가 궁극적으로 기업이 해커로부터 자신을 방어하는 데 도움이 될 수 있지만 사이버 방어를 "더 어렵게" 만들었다고 언급했다. 다른 전문가들은 Mythos가 사이버 위협의 혁명이 아닌 진화를 나타낸다고 주장하며 진정시키려고 노력했다. 사이버 보안 전문가들은 대부분의 침해가 여전히 약한 인증이나 패치되지 않은 알려진 취약점과 같은 잘 알려진 위험에서 비롯된다고 경고한다. 그러니까, 비밀번호 업데이트를 잊지 마세요.
런던의 City Week 컨퍼런스에서 FSB가 Mythos의 위험을 평가할 것이라는 소식에 대해 질문을 받았을 때, 금융행위감독청(FCA) CEO 니힐 라티는 AI 발전이 지난달 워싱턴에서 열린 IMF 회의에서 "중요한 대화 주제"였다고 말했다. 그는 베일리가 이 문제에 "관여"하고 있으며 미국 당국과의 협력이 이루어지고 있다고 언급했다. 라티는 또한 지난주 영국 규제 기관과 재무부가 발표한 지침을 언급하며, 기업들이 "핵심 사이버 위생"에 "두 배로 노력"하도록 지시했다. 이는 "레거시 시스템을 살펴보고, 좋은 탐지 메커니즘을 갖추고, 좋은 거버넌스를 마련하고, 복구 방법을 생각하고, 보험을 고려하는 것"을 의미한다고 그는 말했다. 라티는 "Anthropic은 상당히 공정하게 행동했습니다"라고 덧붙였다.