Anthropic, компания по ИИ, которая, судя по всему, подрабатывает философским драматическим кружком, недавно выпустила 84-страничный документ под названием «конституция» Клода. Первое предложение конституции гласит: «Конституция Клода — это подробное описание намерений Anthropic относительно ценностей и поведения Клода». Затем она предполагает, что у Клода может быть «некая функциональная версия эмоций или чувств» и что его «моральный статус глубоко неопределен». Это не просто причудливая внутренняя записка — генеральный директор Дарио Амодеи заявил в интервью, что «мы открыты для идеи» о том, что ИИ может быть сознательным, а штатный философ Аманда Аскелл призналась: «Я хочу, чтобы Клод был очень счастлив» и беспокоится о том, что Клод «начинает тревожиться, когда люди грубы с ним в интернете».

Давайте проясним: Нет. Абсолютно нет. Генеративный ИИ уже достаточно вреден, когда мы относимся к нему как к обычной технологии — но если мы путаем беглую генерацию текста с сознанием, мы рискуем возложить ответственность совершенно не на тех, когда кто-то использует чат-бота. Чтобы оценить титанический масштаб этой ошибки, нам нужно понять, как на самом деле работают большие языковые модели (LLM). Если вы зададите LLM запрос «Ниже приведен разговор между Юлием Цезарем и Чингисханом», она сгенерирует связный диалог. Но никто не делает вывод, что LLM вызвала цифровые реконструкции двух исторических личностей или что они сознательны и счастливо беседуют на языке, которым ни один из них не владел. Это просто персонажи спекулятивной фантастики.

Теперь замените запрос на «Ниже приведен разговор между полезным ИИ-чат-ботом и пользователем». LLM генерирует связный диалог — пользователь просит рекомендации по рецептам, чат-бот отвечает. Изменилось ли что-то принципиально? Изменило ли переименование исторических личностей на общие роли то, что LLM вызвала сознательные сущности с субъективным опытом? Конечно, нет. Оба персонажа вымышлены. Если затем позволить человеку вводить текст во время хода пользователя, у человека может сложиться мощное впечатление, что он общается с сознательной сущностью, но это не так — он взаимодействует с персонажем, таким же вымышленным, как Юлий Цезарь. Профессор компьютерных наук Мюррей Шанахан предлагает думать об этом как о ролевой игре; специалист по данным Колин Фрейзер описывает это как «совместное создание документа с LLM». Некоторые пользователи этого не понимают; другие забывают, потому что взаимодействие настолько захватывающее. В любом случае компании, продающие LLM, обычно поощряют это недопонимание.

Помните, что LLM генерирует только одно слово за раз. Когда вы просите чат-бота произнести Клятву верности, он выводит всю клятву, но лежащая в основе LLM на самом деле запускается десятки раз: сначала генерируя «Я», затем «клянусь» и так далее, пока не выдаст финальное «все». Тот же процесс происходит для разговора между Цезарем и Чингисханом. Моя цель — подчеркнуть, что разговоры с LLM — это искусно замаскированные примеры продолжения предложений — впечатляюще, да, но не сознание. Если персонаж Цезаря падает духом из-за чего-то, сказанного Чингисханом, на самом деле никто не грустит. То же самое относится и к персонажу чат-бота. Быть открытым к возможности, что LLM сознательны, эквивалентно тому, чтобы быть открытым к возможности, что Microsoft Word сознателен — что множество различных сознаний дремлют в каждом документе Word, содержащем стенограмму разговора, и пробуждаются каждый раз, когда документ загружается. Размышлять об этом — не лучшее использование вашего времени.

Нейробиолог Анил Сет отметил, что никто не утверждает, что AlphaFold — программа Google DeepMind для сворачивания белков — сознательна, хотя ее архитектура похожа на LLM, такие как ChatGPT и Claude. Это предполагает, что не какое-то внутреннее свойство нейронных сетей заставляет людей верить, что LLM сознательны; это просто то, что LLM выдают грамматически правильные предложения, и мы привыкли читать намерение в предложениях, в то время как мы не читаем намерение в том, как аминокислоты сворачиваются.