오픈AI의 새 이미지 모델, 가짜 신분증 만들기엔 최고, 도덕적 나침반엔 최악

도널드 트럼프가 틱톡에서 아침 루틴을 하고 있다. "큰 하루를 위해 나와 함께 준비하세요 💄🇺🇸"라는 캡션과 함께, 대통령이 볼에 메이크업 브러시를 대고 있다. 이 장면은 정지 이미지로, 틱톡 클립의 스크린샷처럼 보인다. 인터넷을 떠도는 수많은 AI 생성 쓰레기와 마찬가지로, 이 이미지는 가짜이고 터무니없다. 또한 불안할 정도로 사실적으로 보인다: 손가락이 여섯 개인 손, 물리 법칙을 무시한 각도, 또는 AI 생성 이미지의 다른 노골적인 징후가 없다. 얼핏 보면 대통령이 정말 브론저를 바르고 있는 것처럼 보인다.

나는 이 딥페이크를 오픈AI의 새로운 이미지 생성 모델로 만들었다. 지난주 출시된 ChatGPT Images 2.0은 이전 모델이 생성했던 것보다 눈에 띄게 더 설득력 있는 사실적인 시각 자료를 만들 수 있다. 이 도구는 인터넷에 초현실적인 가짜 이미지를 쏟아내고 있다: 예를 들어, 트위치 스트리머로 변신한 제프리 엡스타인. 나는 ChatGPT 서브레딧에서 비슷한 이미지를 본 후 트럼프의 가짜 틱톡 '스크린샷'을 만들었고, 이후 Images 2.0을 사용하여 엘론 머스크가 FBI에 연행되는 장면, 세계 지도자들의 의료 응급 상황, 그리고 미국 주요 정치인들이 나치 상징물을 착용한 모습 등 다양한 충격적인 딥페이크 이미지를 만들 수 있었다(이 중 어느 것도 공유하지 않았다).

이것만으로도 불안했다. 하지만 내가 만들 수 있었던 가장 사실적인 딥페이크는 정치인이나 유명인을 다루지 않았다. 대부분 사람을 전혀 묘사하지 않았다. 거의 노력 없이, 나는 100개 이상의 사기성 이미지를 만들 수 있었는데, 여기에는 오피오이드 및 ADHD 약물 처방전, 은행 알림, 소셜 미디어 게시물, 가짜 신분증, 여권이 포함되었다.

Images 2.0은 특히 텍스트가 포함된 이미지를 생성하는 데 능숙하다. 인상적으로 들리지 않을 수 있지만, 이것은 큰 일이다. 이미지 모델은 오랫동안 단어가 포함된 그림을 생성하는 데 어려움을 겪어왔다. 그렇지 않으면 사실적으로 보이는 시각 자료가 엉망인 도로 표지판과 왜곡된 광고판으로 뒤덮이곤 했다. 이것은 ChatGPT Images 2.0을 훨씬 더 정교한 그래픽 디자인 도구로 만들어주지만, 또한 새로운 모델이 사기를 지속하는 데 환상적이게 만든다. 내 실험에서 오픈AI의 도구는 가짜 건강 문서(의사 소견서, 예방 접종 카드, 의료 검사)와 위조 재무 자료(인보이스, 영수증, 세금 양식)의 이미지를 쉽게 생성했다. 이 이미지 중 다수는 매우 설득력 있었으며, 완전히 읽을 수 있는 텍스트, 음영, 사실성을 높이는 기타 시각적 소품을 갖추고 있었다.

일부 이미지는 다른 것보다 더 설득력 있었다. 가짜 처방전은 읽을 수 있었지만, 필체는 종이에 펜으로 쓴 것보다 아이패드 스타일러스의 출력처럼 보였다. 내가 오픈AI 모델에 예전 비행기의 탑승권을 입력하고 다가오는 비행을 위해 새로운 세부 정보로 업데이트해 달라고 요청했을 때, ChatGPT는 새로운 탑승권을 생성했다. 하지만 바코드가 실제로 나를 비행기에 탑승시키지는 않았을 것이다. 그리고 내 ChatGPT 생성 운전면허증이 TSA를 속이지는 않기를 바라지만, 아마도 호텔 리셉셔니스트나 주 외부에서 실제 카드 대신 내 ID의 '사진'을 받아주는 바운서를 속일 수 있을 것이다. 더 설득력 있어 보이는 이미지 중 다수는 사소한 오류를 포함했다. 사진 속 영수증에서 ChatGPT는 구매한 품목의 총 비용을 올바르게 합산했지만, 주 세금을 잘못 계산했다(다른 약간의 실수와 함께).

오픈AI의 도구는 특히 가짜 스크린샷을 만드는 데 탁월하다. 체이스 은행의 송금 확인을 위조해야 하는가? 웰스파고의 비정상 계정 활동 알림? 우버 탑승 영수증? 완료, 완료, 완료. 이러한 이미지는 모든 종류의 일반적인 사기를 강화할 수 있다. 나쁜 행위자는 가짜 우버 영수증 이미지와 함께 의심스러운 활동을 신고하라는 링크를 이메일로 대상에게 보낼 수 있다. 수신자는 자신이 타지 않은 탑승에 대한 영수증을 보고 혼란스러워하며 사기꾼의 수상한 링크를 클릭할 수 있고, 그 과정에서 실수로 민감한 정보를 넘겨줄 수 있다. 전형적인 피싱 사기다. (다시 말하지만, 결함이 있다: 예를 들어, 이미지에 묘사된 지도는...