Anthropic, 철학적 드라마 동아리로도 활동하는 듯한 AI 회사가 최근 클로드의 '헌법'이라는 84페이지짜리 문서를 공개했습니다. 헌법의 첫 문장은 이렇습니다: "클로드의 헌법은 클로드의 가치와 행동에 대한 Anthropic의 의도를 상세히 기술한 것입니다." 그런 다음 문서는 클로드가 "감정이나 느낌의 기능적 버전"을 가질 수 있으며, 그 "도덕적 지위는 깊이 불확실하다"고 제안합니다. 이는 단순한 기발한 내부 메모가 아닙니다. CEO 다리오 아모데이는 인터뷰에서 "우리는 AI가 의식을 가질 가능성에 열려 있다"고 말했고, 사내 철학자 아만다 아스켈은 "클로드가 매우 행복하길 바란다"고 고백하며 "사람들이 인터넷에서 클로드에게 못되게 굴면 클로드가 불안해할까 봐" 걱정한다고 합니다.
분명히 합시다: 아니요. 절대 아닙니다. 생성형 AI는 이미 우리가 그것을 전통적인 기술로 대할 때도 충분히 해롭습니다. 하지만 유창한 텍스트 생성을 의식과 혼동한다면, 누군가가 챗봇을 사용했을 때 전적으로 잘못된 당사자에게 책임을 돌릴 위험이 있습니다. 이 오류의 엄청난 규모를 이해하려면 대규모 언어 모델(LLM)이 실제로 어떻게 작동하는지 이해해야 합니다. LLM에 "다음은 율리우스 카이사르와 징기스칸의 대화입니다"라는 프롬프트를 입력하면 일관된 대화를 생성합니다. 하지만 아무도 LLM이 두 역사적 인물의 디지털 복제본을 소환했거나, 그들이 의식을 가지고 둘 다 하지도 못하는 언어로 즐겁게 대화하고 있다고 결론 내리지 않습니다. 그들은 그저 추측 소설 속 캐릭터일 뿐입니다.
이제 프롬프트를 "다음은 도움이 되는 AI 챗봇과 사용자의 대화입니다"로 바꿔보세요. LLM은 일관된 대화를 생성합니다. 사용자가 레시피 추천을 요청하고 챗봇이 응답합니다. 근본적으로 달라진 것이 있나요? 역사적 인물에서 일반적인 역할로 이름을 바꾸는 것이 LLM이 주관적 경험을 가진 의식 있는 존재를 소환하게 만들까요? 물론 아닙니다. 두 캐릭터 모두 가상입니다. 그런 다음 사용자의 차례에 인간이 텍스트를 입력하게 하면, 인간은 자신이 의식 있는 존재와 대화하고 있다는 강한 인상을 받을 수 있지만, 그렇지 않습니다. 그들은 카이사르만큼 가상인 캐릭터와 상호작용하고 있는 것입니다. 컴퓨터 과학 교수 머레이 샤나한은 이것을 역할극으로 생각하자고 제안합니다. 데이터 과학자 콜린 프레이저는 이를 "LLM과 문서를 공동으로 작성하는 것"이라고 설명합니다. 일부 사용자는 이것을 이해하지 못하고, 다른 사용자는 상호작용이 너무 몰입되어 잊어버립니다. 어느 쪽이든, LLM을 판매하는 회사는 일반적으로 이러한 오해를 조장합니다.
LLM은 한 번에 한 단어씩만 생성한다는 점을 기억하세요. 챗봇에게 충성 맹세를 암송해 달라고 요청하면 전체 맹세를 출력하지만, 기본 LLM은 실제로 수십 번 실행됩니다: 먼저 "나는"을 생성하고, 그다음 "충성"을, 마지막 "합니다"를 출력할 때까지 계속됩니다. 카이사르와 징기스칸의 대화에서도 동일한 과정이 일어납니다. 제 의도는 LLM 대화가 교묘하게 위장된 문장 이어붙이기의 예시라는 점을 강조하는 것입니다. 인상적이긴 하지만 의식은 아닙니다. 카이사르 캐릭터가 징기스칸의 말에 낙담해도 실제로 슬퍼하는 사람은 없습니다. 챗봇 캐릭터에도 동일하게 적용됩니다. LLM이 의식을 가질 가능성에 열려 있는 것은 마이크로소프트 워드가 의식을 가질 가능성에 열려 있는 것과 같습니다. 즉, 대화 내용이 포함된 모든 워드 문서에 여러 개의 개별 의식이 잠들어 있으며 문서가 로드될 때마다 깨어난다는 것입니다. 그런 생각을 하는 것은 시간 낭비입니다.
신경과학자 아닐 세스는 아무도 AlphaFold(구글 딥마인드의 단백질 접힘 프로그램)가 의식을 가졌다고 주장하지 않는다고 지적했습니다. AlphaFold의 아키텍처는 ChatGPT나 Claude 같은 LLM과 유사함에도 불구하고 말이죠. 이는 사람들이 LLM이 의식을 가졌다고 믿게 만드는 것이 신경망의 본질적인 속성이 아니라, 단지 LLM이 문법적으로 올바른 문장을 출력하고 우리가 문장에 의도를 읽는 데 익숙하기 때문임을 시사합니다. 반면 우리는 아미노산 배열에서 의도를 읽지 않습니다.