По мере того как модели ИИ становятся всё мощнее, растёт и потенциал для шалостей — и хор голосов, требующих ограничений. ИИ-компании теперь сталкиваются с деликатной задачей: уважать конфиденциальность корпоративных клиентов, одновременно следя за злоупотреблениями. Почувствовав возможность обойти rival Anthropic, OpenAI объявила о подходе к мониторингу злоупотреблений, ориентированном на конфиденциальность: Private Safety Processing. Эта автоматизированная система следит за потенциальными злоупотреблениями, не сохраняя никаких данных клиента, потому что, видимо, можно съесть торт и сохранить его — если торт сделан из алгоритмов.

Этот шаг напрямую противостоит недавно объявленной политике хранения данных Anthropic, которая разозлила некоторых клиентов. Эта политика, вступившая в силу в июле, позволяет ИИ-лаборатории хранить пользовательские данные — все сеансы и разговоры — в течение 30 дней, когда речь идёт о «покрытых моделях», включая все модели класса Mythos и «будущие модели с аналогичными возможностями». Политика была разработана для безопасности, позволяя лаборатории просеивать потенциальные нарушения. Но она глубоко обеспокоила предприятия, работающие с чувствительными данными, которые не хотят, чтобы их информация хранилась или проверялась ИИ-лабораторией.

OpenAI, как и большинство ИИ-компаний, уже предлагает уровень конфиденциальности через Zero Data Retention (ZDR). ZDR использует агентов в OpenAI API для мониторинга злоупотреблений на основе каждого сеанса, поэтому данные клиента не сохраняются, но плохая активность всё равно может быть отмечена без вмешательства человека. Примечательно, что Anthropic также соблюдает ZDR — за исключением «покрытых моделей», таких как Fable.

OpenAI заявляет, что Private Safety Processing расширяет область действия ZDR. Это форма долгосрочного мониторинга безопасности, которая оценивает входные и выходные данные в нескольких разговорах, а не только в одном. Мониторинг осуществляется агентом, который при срабатывании перехватывает взаимодействия и анализирует их в рамках сеансов на предмет признаков злоупотребления. Это помогает выявлять вредоносное использование, охватывающее несколько сеансов — например, злоумышленник, пытающийся создать вредоносное ПО, распределяя запросы, чтобы избежать обнаружения. Private Safety Processing может анализировать эти разговоры на предмет злоупотреблений без участия человека.

При срабатывании система может отправить «узко определённый сигнал» в OpenAI, предупреждающий о конкретной активности. На основе этого OpenAI может решить, «необходимы ли меры принуждения». Если да, они свяжутся с клиентом для получения контекста или для решения проблемы, и клиент может по своему усмотрению поделиться данными. Между тем Anthropic отмечает, что проверка данных клиента человеком может происходить, но только через «контролируемый путь доступа» с участием «небольшой группы одобренных рецензентов», при этом каждая сессия проверки записывается в защищённый от несанкционированного доступа журнал, который рецензенты не могут подавить или изменить.

Корпоративное соперничество между OpenAI и Anthropic накаляется, и обе стороны ищут любое преимущество. Недавний отчёт показал, что рост OpenAI во втором квартале был медленнее, чем у Anthropic, чей годовой темп выручки, по сообщениям, составляет 65 миллиардов долларов. Инвесторы Anthropic предложили IPO на 2 триллиона долларов, в то время как OpenAI также работает над своим IPO. В гонке за доверие предприятий OpenAI только что бросила перчатку конфиденциальности — и она обёрнута в нули и единицы.