마이크로소프트는 AI 기능에 엄청난 돈을 쏟아붓고 있다. 데이터센터를 짓고 OpenAI, Anthropic 등에서 대규모 언어 모델을 라이선스하는 한편, 자체 대안도 개발 중이다. 레드몬드 조직도 최상위에서 내려온 목표는 Windows와 Microsoft 365를 '에이전틱 OS'로 전환해 메모 작성, 프레젠테이션 제작, 회의 정리, 일상 업무 자동화 등 직장인의 고통을 덜어주는 것이다.

하지만 그 투자가 효과를 보고 있을까? 개발자들은 Claude Code나 GitHub Copilot 같은 도구에 만족하는 듯하지만, 비즈니스 영역에서 작동하는 에이전트들은 그만큼 유능해 보이지 않는다. 지난 몇 주 동안 나는 Microsoft 365와 Windows의 AI 기능을 일상 업무에 사용해보려고 노력했다. Copilot은 가끔 능력을 발휘하지만, 더 자주는 잘못된 정보, 환각, 시간 낭비로 이어지는 막다른 길을 선사한다.

마이크로소프트는 몇 달째 나에게 새 Microsoft 365 Premium 요금제로 업그레이드하라고 재촉해왔다. 이 요금제에는 AI 사용량 상한선이 높아지고 독점 에이전트 몇 개가 포함된다. 과학을 위해 나는 10달러를 내고 사용하지 않는 계정을 한 달간 업그레이드해 사용해보기로 했다.

먼저 Analyst 에이전트를 써봤다. 가계 수입과 지출 스프레드시트를 복사해 디자인 개선을 도와달라고 했다. 몇 차례 주고받은 후, Copilot은 수식 정리, 중복 테이블 통합, 불필요한 페이지 제거 등 유용한 제안을 했고, 마지막에는 수식과 피벗 테이블만으로 대시보드를 만들겠다고 굵은 글씨로 제안했다. "원하시면 깔끔한 대시보드 레이아웃(정확한 셀과 섹션)을 스케치해 드릴 수 있습니다. 데이터에 맞춰 약 15분 안에 만드실 수 있어요." 에이전트가 이 일을 대신 해줄 거라고 생각했는데? 그래서 물었다. "실제 엑셀 파일을 만들어 줄 수 있나요, 아니면 제가 직접 해야 하나요?" 물론, Copilot은 말했다. 한 가지 작은 제한이 있다고: 피벗 하나는 직접 만들어야 하지만, 그 작업은 10초도 안 걸린다고. 1~2분 후, Copilot이 말했다. "수정된 통합 문서를 만들었습니다. 여기서 다운로드하세요." 그리고 링크를 줬다: [sandbox:/mnt/data/Personal_accounts_modified.xlsm]. 저게 정확한 링크다, 대괄호까지 포함해서. 클릭할 수 없었다. "네, 제 실수입니다." Copilot이 자백했다. "그 '샌드박스 경로'는 사용자 인터페이스에서 실제로 클릭할 수 없어서 다운로드가 안 됩니다." 여러 번 시도 끝에 Copilot은 포기하며, ChatGPT를 사용했다면 파일 링크가 작동했을 거라고 설명하고, 구글 시트에서 파일을 만들어 스스로 링크를 보내라고 제안했다. 레드몬드의 제품 관리자들이 바란 건 이게 아닐 텐데.

다음으로, Microsoft 365 Premium Researcher 에이전트에게 Microsoft 365 Premium의 장단점을 간결하게 설명해 달라고 했다. 예상치 못한 답변이 돌아왔다: "정확히 필요한 내용을 다루기 위해: 'Microsoft 365 Premium'이 어떤 요금제를 의미하나요? A) Microsoft 365 Personal, B) Microsoft 365 Family, C) Microsoft 365 Business Premium, D) 소비자 요금제(Personal/Family)를 비교하고 Business Premium은 필요한 경우에만 간략히 언급할까요?" 분명히 나는 마이크로소프트가 적극적으로 홍보하는 제품의 핵심 기능 중 하나를 사용하고 있었는데, Copilot은 내가 무슨 말을 하는지 전혀 몰랐다. 내가 제품 페이지 링크를 제공하자, Copilot은 서드파티 출처에서 가져온 꽤 평범한 기능 요약을 내놓았다. 연구라고 하기엔 민망했고, 깊이 있는 내용은 전혀 아니었다.

오늘 아침, 사무실 네트워크에 있는 컴퓨터에 원격 데스크톱 클라이언트로 연결하려고 했는데, 인증서 오류가 발생했다: "인증서의 서버 이름이 올바르지 않습니다." 몇 분간 직접 문제를 해결하다가, Copilot으로 '분위기 시스템 관리'를 시도해보기로 했다. "해결 방법은 간단합니다." Copilot이 자신만만하게 대답했다. VM 내부의 Windows가 새 원격 데스크톱 인증서를 생성하도록 강제하기만 하면 된다고. 그런데...