Anthropic собирается провести очень серьезную беседу с мировым финансовым регулятором о своей модели ИИ Claude Mythos, которая заставляет экспертов хвататься за нюхательные соли из-за ее потенциала разрушить киберзащиту.
Американский стартап проинформирует Совет по финансовой стабильности (FSB), который возглавляет не кто иной, как управляющий Банка Англии Эндрю Бейли, о последствиях Mythos. Потому что что может пойти не так, когда вы выпускаете в мир ИИ, который очень хорош в поиске дыр в IT-системах?
Anthropic благоразумно отказался от публичного выпуска Mythos, объявив, что модель ИИ обладает продвинутыми способностями выявлять ранее неизвестные уязвимости в IT-системах — уязвимости, которые хакеры обожали бы эксплуатировать. Вместо этого компания предоставила доступ избранной группе технологических компаний и банков, включая Apple и JP Morgan, чтобы помочь им выявить любые слабые места, которые ИИ может вынюхать. План FSB, о котором впервые сообщила Financial Times, был подтвержден источником, знакомым с обсуждениями регулятора с Anthropic.
Британский Институт безопасности ИИ (AISI), который оценивает передовые модели ИИ, на прошлой неделе выпустил обновленную оценку Mythos после изучения версии, выпущенной для банков и технологических компаний. В нем говорится, что последняя итерация представляет собой "заметный скачок возможностей" даже по сравнению с предварительной версией, протестированной месяцем ранее. AISI отметил, что последняя версия Mythos выполнила ранее нерешенный тест по кибербезопасности, названный "cooling tower", в трех из десяти попыток — впервые для любой модели, протестированной институтом.
"Автономные кибер- и программные возможности передового ИИ быстро развиваются: длина киберзадач, которые передовые модели могут выполнять автономно, удваивается в порядке месяцев, а не лет", — заявил AISI, добавив, что разрабатывает новые, более сложные хакерские тесты, чтобы отслеживать прогресс моделей ИИ. Потому что, очевидно, старые тесты уже не справляются.
FSB отслеживает и дает рекомендации по глобальной финансовой системе, и включает чиновников из ведущих экономик, включая США, Великобританию, Австралию и Китай. В его руководящий комитет входят высокопоставленные чиновники центральных банков и министерств финансов. В этом месяце Международный валютный фонд заявил, что риски для финансовой стабильности растут из-за "быстро движущихся" разработок в области ИИ, и призвал к скоординированному ответу. "Киберриск не знает границ. По мере распространения возможностей ИИ по странам, непоследовательный надзор может ослабить глобально взаимосвязанную систему", — заявил МВФ в блоге, явно не настроенный на преуменьшение.
В прошлом месяце генеральный директор Goldman Sachs Дэвид Соломон сказал, что он "гипер-осведомлен" о возможностях Mythos, в то время как его коллега из JP Morgan Джейми Даймон отметил, что ИИ сделал киберзащиту "сложнее", даже если в конечном итоге он может помочь компаниям защищаться от хакеров. Другие эксперты попытались успокоить ситуацию, утверждая, что Mythos представляет собой эволюцию киберугроз, а не революцию. Эксперты по кибербезопасности предупреждают, что большинство взломов по-прежнему происходят из-за хорошо известных рисков, таких как слабая аутентификация и уже известные уязвимости, которые не были исправлены. Так что, знаете, не забывайте обновлять пароли.
Когда на конференции City Week в Лондоне спросили о новостях о том, что FSB будет оценивать риски Mythos, генеральный директор Управления финансового поведения Нихил Рати сказал, что разработки в области ИИ были "значительной темой для разговора" на встречах МВФ в Вашингтоне в прошлом месяце. Он отметил, что Бейли "вовлечен" в этот вопрос, и что происходит сотрудничество с властями США. Рати также указал на руководство, опубликованное британскими регуляторами и Казначейством на прошлой неделе, которое предписывает фирмам "усилить" "основную кибергигиену". Это означает "проверить свои устаревшие системы, иметь хорошие механизмы обнаружения, иметь хорошее управление, думать о том, как вы восстанавливаетесь, думать о своей страховке", — сказал он. Рати добавил, что "Anthropic поступил довольно справедливо".