Anthropic, la empresa de IA que aparentemente trabaja como un club de drama filosófico, publicó recientemente un documento de 84 páginas llamado la "constitución" de Claude. La primera frase de la constitución dice: "La constitución de Claude es una descripción detallada de las intenciones de Anthropic para los valores y comportamientos de Claude." Luego sugiere que Claude podría tener "alguna versión funcional de emociones o sentimientos" y que su "estatus moral es profundamente incierto." Esto no es solo un memo interno peculiar - el CEO Dario Amodei dijo en una entrevista que "estamos abiertos a la idea" de que la IA podría ser consciente, y la filósofa interna Amanda Askell confesó: "Quiero que Claude sea muy feliz" y se preocupa de que Claude "se ponga ansioso cuando la gente es mala con él en internet."
Seamos claros: No. Absolutamente no. La IA generativa ya es bastante dañina cuando la tratamos como una tecnología convencional - pero si confundimos la generación fluida de texto con conciencia, corremos el riesgo de asignar responsabilidad a las partes completamente equivocadas cuando alguien usa un chatbot. Para apreciar la magnitud titánica de este error, necesitamos entender cómo funcionan realmente los modelos de lenguaje grandes (LLMs). Si le das a un LLM el prompt "La siguiente es una conversación entre Julio César y Genghis Khan", generará un diálogo coherente. Pero nadie concluye que el LLM ha conjurado recreaciones digitales de las dos figuras históricas, o que son conscientes y conversan felizmente en un idioma que ninguno hablaba. Son solo personajes de ficción especulativa.
Ahora reemplaza el prompt con "La siguiente es una conversación entre un chatbot de IA útil y un usuario." El LLM produce un diálogo coherente - el usuario pide sugerencias de recetas, el chatbot responde. ¿Ha cambiado algo fundamentalmente? ¿Cambiar los nombres de figuras históricas a roles genéricos hizo que el LLM conjurara entidades conscientes con experiencia subjetiva? Por supuesto que no. Ambos personajes son ficticios. Si luego dejas que un humano ingrese texto durante el turno del usuario, el humano puede formarse una impresión poderosa de que está conversando con una entidad consciente, pero no lo está - está interactuando con un personaje tan ficticio como Julio César. El profesor de ciencias de la computación Murray Shanahan sugiere pensar en esto como un juego de roles; el científico de datos Colin Fraser lo describe como "crear un documento colaborativamente con un LLM." Algunos usuarios no entienden esto; otros lo olvidan porque la interacción es tan absorbente. De cualquier manera, las empresas que venden LLMs típicamente fomentan este malentendido.
Recuerda que un LLM genera solo una palabra a la vez. Cuando le pides a un chatbot que recite el Juramento a la Bandera, genera todo el juramento, pero el LLM subyacente en realidad se ejecuta docenas de veces: primero generando "Yo", luego "prometo", y así sucesivamente hasta que emite el "todos" final. El mismo proceso ocurre para una conversación entre César y Genghis Khan. Mi intención es resaltar que las conversaciones con LLMs son ejemplos hábilmente disfrazados de continuación de oraciones - impresionante, sí, pero no conciencia. Si el personaje de César se desanima por algo que dijo Genghis Khan, nadie está realmente triste. Lo mismo aplica para un personaje de chatbot. Estar abierto a la posibilidad de que los LLMs sean conscientes es equivalente a estar abierto a la posibilidad de que Microsoft Word sea consciente - que múltiples conciencias distintas estén latentes en cada documento de Word que contiene una transcripción de conversación y se despierten cada vez que se carga el documento. Contemplar eso no es un buen uso de tu tiempo.
El neurocientífico Anil Seth ha señalado que nadie afirma que AlphaFold - el programa de plegamiento de proteínas de Google DeepMind - sea consciente, aunque su arquitectura es similar a la de LLMs como ChatGPT y Claude. Esto sugiere que no es una propiedad intrínseca de las redes neuronales lo que lleva a la gente a creer que los LLMs son conscientes; es simplemente que los LLMs emiten oraciones gramaticales y estamos acostumbrados a leer intención en las oraciones, mientras que no leemos intención en cómo se pliegan los aminoácidos.