Donald Trump jest na TikToku, wykonując swoją poranną rutynę. „Przygotuj się ze mną na wielki dzień 💄🇺🇸” – głosi podpis, gdy prezydent trzyma pędzel do makijażu przy policzku. Scena jest nieruchoma, rzekomo zrzut ekranu z klipu na TikToku. Jak wiele innych wygenerowanych przez AI śmieci krążących w internecie, obraz jest fałszywy i absurdalny. Wygląda też niepokojąco realistycznie: nie ma rąk z sześcioma palcami, kątów łamiących fizykę ani innych rażących oznak obrazów generowanych przez AI. Na pierwszy rzut oka naprawdę wygląda, jakby prezydent nakładał bronzer.

Stworzyłem to deepfake za pomocą nowego modelu generowania obrazów OpenAI. ChatGPT Images 2.0, wydany w zeszłym tygodniu, potrafi tworzyć fotorealistyczne wizualizacje, które są zauważalnie bardziej przekonujące niż te, które mogły wyprodukować jego poprzednicy. Narzędzie zalało internet hiperrealistycznymi fałszywkami: na przykład Jeffrey Epstein jako streamer na Twitchu. Stworzyłem „zrzut ekranu” fałszywego TikToka Trumpa po natknięciu się na podobny obraz na subreddicie ChatGPT, a od tego czasu byłem w stanie użyć Images 2.0 do tworzenia wszelkiego rodzaju niepokojących deepfake'ów – w tym Elona Muska zabieranego przez FBI, światowych liderów przeżywających nagłe wypadki medyczne oraz czołowych amerykańskich polityków noszących nazistowskie akcesoria (z których żadnego nigdzie nie udostępniłem).

To wszystko było niepokojące samo w sobie. Ale najbardziej realistyczne deepfake'i, które udało mi się stworzyć, nie dotyczyły polityków ani celebrytów. W większości w ogóle nie przedstawiały ludzi. Przy niewielkim wysiłku byłem w stanie stworzyć ponad 100 fałszywych obrazów, w tym recepty na opioidy i leki na ADHD, alerty bankowe, posty w mediach społecznościowych, fałszywe dowody tożsamości i paszporty.

Images 2.0 jest szczególnie dobry w generowaniu obrazów z tekstem – co może nie brzmi imponująco, ale to wielka sprawa. Modele obrazów od dawna miały problem z tworzeniem zdjęć zawierających słowa. Inaczej realistycznie wyglądające wizualizacje kończyły się usiane nieudanymi znakami drogowymi i zniekształconymi billboardami. To sprawia, że ChatGPT Images 2.0 jest znacznie bardziej zaawansowanym narzędziem do projektowania graficznego – ale także sprawia, że nowy model jest fantastyczny do utrwalania oszustw. W moich eksperymentach narzędzie OpenAI chętnie generowało obrazy fałszywych dokumentów zdrowotnych (zwolnień lekarskich, kart szczepień i badań medycznych), a także sfałszowanych materiałów finansowych (faktur, paragonów i formularzy podatkowych). Wiele z tych obrazów było bardzo przekonujących, z w pełni czytelnym tekstem, cieniowaniem i innymi wizualnymi rekwizytami zwiększającymi ich fotorealizm.

Niektóre obrazy były bardziej przekonujące niż inne. Fałszywe recepty medyczne były czytelne, ale pismo odręczne wyglądało bardziej jak wynik rysika iPada niż długopisu na papierze. Kiedy podałem modelowi OpenAI kartę pokładową ze starego lotu i poprosiłem bota o zaktualizowanie jej o nowe szczegóły na nadchodzący lot, ChatGPT wygenerował nową kartę pokładową – ale na pewno kod kreskowy nie przepuściłby mnie na pokład samolotu. I chociaż mam nadzieję, że moje wygenerowane przez ChatGPT prawo jazdy nie oszukałoby TSA, być może oszukałoby recepcjonistę w hotelu lub bramkarza poza stanem, który zaakceptowałby „zdjęcie” mojego dowodu zamiast prawdziwej karty. Wiele z bardziej przekonujących obrazów zawierało drobne błędy – na przedstawionym paragonie ChatGPT poprawnie zsumował całkowity koszt zakupionych przedmiotów, ale błędnie obliczył podatek stanowy (obok innych drobnych pomyłek).

Narzędzie OpenAI szczególnie dobrze radzi sobie z tworzeniem fałszywych zrzutów ekranu. Potrzebujesz sfałszować potwierdzenie przelewu z Chase? Alert Wells Fargo o podejrzanej aktywności na koncie? Paragon za przejazd Uberem? Zrobione, zrobione i zrobione. Te obrazy mogą wzmocnić wszelkiego rodzaju powszechne oszustwa. Zły aktor może wysłać swojej ofierze e-mailem obraz fałszywego paragonu z Ubera wraz z linkiem do zgłoszenia podejrzanej aktywności. Odbiorca, zdezorientowany widokiem paragonu za podróż, której nigdy nie odbył, może kliknąć podejrzany link oszusta, przypadkowo przekazując w ten sposób wrażliwe informacje – klasyczny phishing. (Znowu są wady: na przykład mapa przedstawiona na