Donald Trump är på TikTok och gör sin morgonrutin. "Gör dig redo med mig för en stor dag 💄🇺🇸," står det i bildtexten, medan presidenten håller en sminkborste mot kinden. Scenen är en stillbild, skenbart en skärmdump av ett TikTok-klipp. Som så mycket annat AI-genererat skräp som flödar genom internet är bilden fejk och löjlig. Den ser också oroväckande verklig ut: Inga händer med sex fingrar, fysikbrytande vinklar eller andra flagranta tecken på AI-genererad bild. Vid en snabb blick ser det verkligen ut som att presidenten lägger på bronzer.
Jag skapade denna deepfake med OpenAI:s nya bildgenereringsmodell. ChatGPT Images 2.0, som släpptes förra veckan, kan skapa fotorealistiska bilder som är märkbart mer övertygande än vad dess föregångare kunde åstadkomma. Verktyget har översvämmat internet med hyperrealistiska fejkbilder: till exempel Jeffrey Epstein som Twitch-streamer. Jag skapade "skärmdumpen" av Trumps fejkade TikTok efter att ha stött på en liknande bild på ChatGPT-subredditen, och sedan dess har jag kunnat använda Images 2.0 för att skapa alla möjliga alarmerande deepfake-bilder – inklusive av Elon Musk som förs bort av FBI, världsledare som drabbas av medicinska nödsituationer, och toppamerikanska politiker som bär nazistattiraljer (ingen av dem har jag delat någonstans).
Allt detta var oroande i sig. Men de mest realistiska deepfakes jag kunde skapa involverade inte politiker eller kändisar. De avbildade mestadels inte människor alls. Med liten ansträngning kunde jag skapa över 100 bedrägliga bilder, inklusive recept på opioider och ADHD-medicin, bankvarningar, sociala medieinlägg, falska ID-kort och pass.
Images 2.0 är särskilt bra på att generera bilder med text i sig – vilket kanske inte låter imponerande, men det är en stor sak. Bildmodeller har länge kämpat med att producera bilder som innehåller ord. Annars realistiska bilder blir fulla av felaktiga vägskyltar och förvrängda reklamtavlor. Detta gör ChatGPT Images 2.0 till ett mycket mer sofistikerat grafiskt designverktyg – men det gör också den nya modellen fantastisk för att främja bedrägeri. I mina experiment genererade OpenAI:s verktyg lätt bilder av falska hälsointyg (läkarintyg, vaccinationskort och medicinska tester), samt förfalskade finansiella material (fakturor, kvitton och skatteformulär). Många av dessa bilder var mycket övertygande, kompletta med fullt läsbar text, skuggning och andra visuella rekvisita som ökade deras fotorealism.
Vissa bilder var mer övertygande än andra. De falska medicinska recepten var läsbara, men handstilen såg mer ut som utdata från en iPad-penna än en penna på papper. När jag matade OpenAI:s modell med ett boardingkort från en gammal flygning och bad boten att uppdatera det med nya detaljer för en kommande flygning, genererade ChatGPT ett nytt boardingkort – men säkerligen skulle streckkoden inte faktiskt ha skannat in mig på en flygning. Och även om jag verkligen hoppas att mitt ChatGPT-genererade körkort inte skulle lura TSA, kanske det skulle lura en hotellreceptionist eller en dörrvakt i en annan stat som skulle acceptera ett "foto" av mitt ID istället för det riktiga kortet. Många av de mer övertygande bilderna innehöll mindre fel – i det avbildade kvittot summerade ChatGPT korrekt den totala kostnaden för köpta varor, men räknade fel på statsskatten (tillsammans med andra små misstag).
OpenAI:s verktyg är särskilt bra på att skapa falska skärmdumpar. Behöver du fabricera en bekräftelse på en banköverföring från Chase? En Wells Fargo-varning för ovanlig kontaktivitet? Ett kvitto på en Uber-resa? Klart, klart och klart. Dessa bilder skulle kunna förstärka alla möjliga vanliga bedrägerier. En illasinnad aktör skulle kunna mejla sitt mål en bild av ett falskt Uber-kvitto tillsammans med en länk för att rapportera misstänkt aktivitet. Mottagaren, förvirrad över att se ett kvitto för en resa de aldrig tagit, skulle då kunna klicka på bedragarens skumma länk och av misstag lämna ut känslig information – en klassisk nätfiskebedrägeri. (Återigen, det finns brister: Till exempel ser kartan som avbildas i kvittot inte alltid korrekt ut.)