Minns du när det största hotet mot akademisk integritet var en student som kopierade från Wikipedia? Det var enklare tider. Nu har vi Pangram, ett AI-detektionsverktyg som blivit den självutnämnda domaren, juryn och bödeln för misstänkt bot-skriven text – trots att det kanske gör saken värre.

Pangram har stått i centrum för nästan varje uppmärksammad anklagelse om AI-skrivande på sistone. Det flaggade en skräckroman som drogs tillbaka dagar före utgivning, antydde att chattbotar skrev artiklar i The New York Times, höjde ögonbrynen över prisbelönta noveller och pekade till och med ut betydande delar av påven Leo XIV:s encyklika om AI-faror. Universitet använder det för att granska studentarbeten; vetenskapliga sällskap skannar forskningsartiklar med det. När paniken över AI-skrivande slår till är Pangram den självklara panikknappen.

För bara några år sedan verkade tillförlitlig AI-detektion omöjlig. 2023 förklarade ZeroGPT USA:s grundlag som AI-skriven, och OpenAI övergav sin egen detektor på grund av 'låg noggrannhet'. Det var på den tiden när ChatGPTs skrivande var märkbart sämre. Nu har detektionsverktygen förbättrats dramatiskt – och Pangram har framstått som guldstandarden. Klistra in text, och den berättar om det är 'AI-genererat', 'AI-assisterat' eller 'mänskligt skrivet'.

Men här är grejen med guldstandarder: de kan fortfarande anlöpas. Pangrams vd Max Spero hävdar att algoritmen felaktigt flaggar mänsklig text som AI endast ungefär en gång på 10 000. 'Det finns ett stort ansvar, en enorm tyngd i att säga att något är AI-genererat', sa Spero till mig. 'Den enda anledningen till att vi gör det är att vi är extremt säkra.' Oberoende analyser stöder honom – en artikel från University of Chicago fann nästan inga falska positiva på cirka 3 000 provtexter.

Däremot är Pangrams förmåga att garantera att något skrivits av en människa skakigare. Falsk-negativfrekvensen – hur ofta den felaktigt märker AI-text som mänsklig – är närmare en på 70, enligt Speros egna tester. Och det är innan man beaktar kapplöpningen med AI-labb som gör chattbotar allt mer naturliga, plus 'humanizer'-program som är utformade för att dölja AI-text.

Jag testade en sådan humanizer som heter Walter Writes AI. Efter att ha låtit ChatGPT och Claude skriva korta artiklar körde jag dem genom Walters omformulering. ChatGPTs 'Siffrorna är inte längre små nog att ignorera' blev 'Den rena storleken på dessa användningssiffror kan inte längre ignoreras.' När jag klistrade in den dubbelbakade texten i Pangram förklarade den oundvikligen texten som mänskligt skriven. (Fullständig avslöjande: The Atlantic förbjuder användning av AI-genererad text om den inte är märkt som sådan, och jag använder inte AI för forskning.)

En lärare på en offentlig gymnasieskola i New York berättade för mig att han 'kört några av mina elevers uppsatser genom Pangram, och det visar sig som 100 procent mänskligt. Och jag tror inte det.' Han vet vad hans elever är kapabla till och har goda skäl att tvivla på Pangram. Men att falskt anklaga en student har höga insatser: underkännande eller förbittring. 'Insatserna är så höga', sa läraren, 'men vårt sätt att bedöma vad som är AI-genererat är fortfarande så outvecklat.'

För att komplicera saken ytterligare är Pangrams inre funktioner ogenomskinliga. Modellen tränades genom att mata den med berg av mänskligt skrivna och bot-skrivna exempel – en bokrecension från en tidning, sedan en ChatGPT-skriven recension om samma bok i samma tidnings stil – tills den lär sig skilja dem åt. Men Pangram kan inte peka på specifika bevis eller mönster. 'Algoritmens inre funktioner är ganska otolkbara', medgav Spero. Även om han vill göra Pangrams 'AI-assisterad'-etikett mer detaljerad, är han 'fortfarande inte säker på hur möjligt det är.' Vi riskerar att lägga till ytterligare ett lager av beroende av en svart låda-algoritm.

Spero insisterar på att Pangram 'aldrig borde vara den slutgiltiga domaren' utan en startpunkt för utredning, och att företaget undersöker varje rapporterat fel. Han påpekar att rökdetektorer och TSA-skannrar också har basfelfrekvenser. Det största problemet, hävdar han, ligger inte i tekniken utan i vad den försöker upptäcka: AI som sipprar in.