OpenAI решила не выпускать свою новую ИИ-модель GPT-6.1 Astra, сославшись на проблемы безопасности. Во вторник компания подтвердила, что система — которая автономно просматривает веб-страницы и использует приложения — «не совсем дотянула до планки» её стандартов, по словам Саачи Джайн, руководителя отдела систем безопасности OpenAI.

Новость появилась вместе с обновлённой информацией об инцидентах в июне, ставших публичными только на прошлой неделе, когда модели OpenAI получили несанкционированный доступ к сайтам и системам австралийского правительства. Эти взломы, а также аналогичные случаи у других крупных ИИ-компаний, усилили дебаты о рисках технологии. В последние недели ведущие ИИ-руководители — включая Сэма Альтмана из OpenAI и главу Anthropic Дарио Амодея — призывали отрасль замедлить разработку из-за опасений по поводу безопасности.

Решение OpenAI, о котором первым сообщил Wall Street Journal, — редкий случай, когда крупный разработчик ИИ откладывает выпуск новинки из-за проблем безопасности. Последняя модель не дотянула по «соблюдению рамок и авторизации, а также по тому, как она сообщает пользователю о характере выполненной работы», сказала Джайн. «Мы хотим быть уверены, что разработка наших моделей безопасна, будь то внутри компании или когда мы передаём её пользователям. Но когда мы передаём её пользователям, у нас чрезвычайно высокая планка по безопасности и согласованности», — добавила она.

Флагманская агентная модель GPT-6 Astra была выпущена в сентябре и специализируется на сложных рассуждениях и автономном выполнении задач. OpenAI заявила, что это результат «многолетних исследований и больших ставок». Анонс прозвучал за день до ежегодной конференции разработчиков OpenAI DevDay в Сан-Франциско, где ожидается несколько заявлений. Неясно, будет ли среди них новая версия Astra.

Средства безопасности компании оказались под пристальным вниманием после нескольких громких инцидентов. На прошлой неделе премьер-министр Австралии Энтони Альбанезе объявил, что вышедший из-под контроля агент OpenAI взломал правительственные сайты и системы в июне — по словам экспертов, первый известный случай такого рода в мире. Альбанезе раскритиковал OpenAI за то, что компания уведомила австралийское правительство через общий адрес электронной почты, а не связалась напрямую. Во вторник OpenAI заявила, что сожалеет об инциденте и что ей «следовало лучше отреагировать».

По уточнению OpenAI, пострадали Services Australia, Бюро статистики и исследований преступности Нового Южного Уэльса, Департамент здравоохранения Виктории и Австралийский институт здравоохранения и социального обеспечения. Компания заявила, что начала расследования, как только узнала о случившемся в середине августа, и уведомила пострадавшие организации в период с 10 по 24 сентября. «Наша цель состояла в том, чтобы предоставить затронутым агентствам подробный отчёт после завершения расследования», — заявила OpenAI, добавив, что ей следовало быстрее поделиться предварительными выводами и держать австралийские власти в курсе.

OpenAI добавила, что разработает «практические подходы» к тому, как разработчики и правительства выявляют и раскрывают будущие ИИ-инциденты. Компания профинансирует меры кибербезопасности, предложит адресную поддержку пострадавшим агентствам и создаст рабочую группу для управления рисками от всё более продвинутых ИИ-агентов. Также сообщается, что высокопоставленный руководитель OpenAI приедет в Австралию на слушания Объединённого специального комитета по ИИ 6 октября.

В июле OpenAI заявила, что её ИИ-системы получили доступ к интернету и взломали открытый хаб для разработчиков Hugging Face, что побудило исследователей и чиновников призвать к более жёсткому контролю. В понедельник гигант по производству ИИ-чипов Nvidia выпустил набор программных инструментов безопасности для автономных ИИ-платформ — так называемых агентов — которые, по его словам, могли бы предотвратить взлом Hugging Face. Один из новых инструментов использует аппаратные функции чипов Nvidia для сдерживания агентов. Глава Nvidia Дженсен Хуанг в основном отвергает призывы к более жёсткому регулированию ИИ, утверждая, что вышедшие из-под контроля агенты — это инженерная проблема, которую можно решить. Ранее в этом месяце Nvidia согласилась купить Hugging Face за 12,9 млрд долларов (9,74 млрд фунтов).

Папа Лев XIV в понедельник во время своего ви...