Weet je nog toen de grootste bedreiging voor academische integriteit een student was die van Wikipedia kopieerde? Dat waren eenvoudigere tijden. Nu hebben we Pangram, een AI-detectietool die de facto rechter, jury en beul is geworden voor vermeende bot-geschreven tekst – ook al maakt het de zaken misschien erger.
Pangram stond centraal in bijna elke recente spraakmakende AI-schrijfbeschuldiging. Het markeerde een horrorroman die dagen voor publicatie werd teruggetrokken, suggereerde dat chatbots artikelen in The New York Times schreven, trok wenkbrauwen op over bekroonde korte verhalen, en beschuldigde zelfs aanzienlijke delen van paus Leo XIV's encycliek over AI-gevaren. Universiteiten gebruiken het om studentenwerk te controleren; wetenschappelijke verenigingen scannen onderzoekspapers ermee. Wanneer paniek over AI-schrijven uitbreekt, is Pangram de paniekknop.
Nog maar een paar jaar geleden leek betrouwbare AI-detectie onmogelijk. In 2023 verklaarde ZeroGPT de Amerikaanse Grondwet AI-geschreven, en OpenAI liet zijn eigen detector varen vanwege een 'lage nauwkeurigheid'. Dat was toen ChatGPT's schrijfstijl nog merkbaar slechter was. Nu zijn detectietools enorm verbeterd – en Pangram is uitgegroeid tot de gouden standaard. Plak tekst erin, en het vertelt je wat 'AI Generated', 'AI Assisted' of 'Human Written' is.
Maar hier is het addertje onder het gras: gouden standaarden kunnen nog steeds aanslaan. Pangram's CEO Max Spero beweert dat het algoritme menselijke tekst slechts ongeveer één op de 10.000 keer ten onrechte als AI bestempelt. 'Er rust een grote verantwoordelijkheid, een zware last op het zeggen dat iets AI-gegenereerd is,' vertelde Spero me. 'De enige reden dat we dat doen, is omdat we extreem zeker zijn.' Onafhankelijke analyses ondersteunen hem – een paper van de Universiteit van Chicago vond bijna geen fout-positieven in zo'n 3.000 voorbeeldteksten.
Pangram's vermogen om te garanderen dat iets door een mens is geschreven, is echter wankeler. Het fout-negatiefpercentage – hoe vaak het AI-tekst ten onrechte als menselijk bestempelt – ligt dichter bij één op de 70, volgens Spero's eigen tests. En dat is nog vóór we rekening houden met de wapenwedloop met AI-labs die chatbots steeds natuurlijker laten klinken, plus 'humanizer'-programma's die expliciet zijn ontworpen om AI-tekst te verbergen.
Ik testte zo'n humanizer genaamd Walter Writes AI. Nadat ik ChatGPT en Claude korte artikelen liet schrijven, liet ik ze door Walter's herformulering halen. ChatGPT's 'De cijfers zijn niet langer klein genoeg om te negeren' werd 'De enorme omvang van deze gebruikscijfers kan niet langer worden genegeerd.' Toen ik de dubbelgebakken output in Pangram plakte, verklaarde het de tekst steevast menselijk geschreven. (Volledige openheid: The Atlantic verbiedt het gebruik van AI-gegenereerde tekst tenzij als zodanig gelabeld, en ik gebruik geen AI voor onderzoek.)
Een leraar op een openbare middelbare school in New York City vertelde me dat hij 'sommige papers van mijn studenten door Pangram heeft gehaald, en het komt als 100 procent menselijk naar voren. En ik denk niet dat dat zo is.' Hij weet wat zijn kinderen kunnen en heeft genoeg reden om aan Pangram te twijfelen. Maar een student ten onrechte beschuldigen heeft hoge inzet: falen of wrok. 'De inzet is zo hoog,' zei de leraar, 'maar onze manier om te beoordelen wat AI-gegenereerd is, is nog steeds zo ongevormd.'
Om de zaken nog ingewikkelder te maken, zijn Pangram's innerlijke werking ondoorzichtig. Het model werd getraind door het te voeden met bergen menselijk geschreven en bot-geschreven voorbeelden – een boekrecensie uit een tijdschrift, dan een ChatGPT-geschreven recensie over hetzelfde boek in dezelfde stijl van het tijdschrift – totdat het leert ze uit elkaar te houden. Maar Pangram kan niet wijzen op specifiek bewijs of patronen. 'De innerlijke werking van het algoritme is vrij oninterpreteerbaar,' gaf Spero toe. Hoewel hij Pangram's 'AI-assisted'-label granulairder wil maken, is hij 'nog steeds niet zeker hoe mogelijk dat is.' We riskeren afhankelijkheid van weer een black-box-algoritme.
Spero benadrukt dat Pangram 'nooit de eindbeslisser mag zijn' maar een startpunt voor onderzoek, en dat het bedrijf elke gemelde fout onderzoekt. Hij merkt op dat rookmelders en TSA-scanners ook basisfoutpercentages hebben. Het grootste probleem, betoogt hij, ligt niet in de technologie maar in wat het probeert te detecteren: AI die overal binnensijpelt.