Ricordate quando la più grande minaccia all'integrità accademica era uno studente che copiava da Wikipedia? Erano tempi più semplici. Ora abbiamo Pangram, uno strumento di rilevamento AI che è diventato il giudice, la giuria e il boia di fatto per i testi sospettati di essere scritti da bot - anche se potrebbe peggiorare le cose.

Pangram è stato al centro di quasi tutte le accuse di scrittura AI di alto profilo ultimamente. Ha segnalato un romanzo horror ritirato giorni prima della sua uscita, ha suggerito che i chatbot hanno scritto articoli sul New York Times, ha sollevato sopracciglia su racconti premiati, e ha persino implicato parti significative dell'enciclica di Papa Leone XIV sui pericoli dell'AI. Le università lo usano per vagliare i lavori degli studenti; le associazioni scientifiche scansionano articoli di ricerca con esso. Quando il panico per la scrittura AI colpisce, Pangram è il pulsante del panico.

Solo pochi anni fa, un rilevamento AI affidabile sembrava impossibile. Nel 2023, ZeroGPT dichiarò la Costituzione degli Stati Uniti scritta da AI, e OpenAI abbandonò il proprio rilevatore a causa di un 'basso tasso di precisione'. Era quando la scrittura di ChatGPT era notevolmente peggiore. Ora, gli strumenti di rilevamento sono migliorati drasticamente - e Pangram è emerso come il gold standard. Incolla il testo, e ti dice se è 'Generato da AI', 'Assistito da AI' o 'Scritto da umano'.

Ma ecco il punto sui gold standard: possono ancora appannarsi. Il CEO di Pangram Max Spero sostiene che l'algoritmo etichetta erroneamente il testo umano come AI solo circa una volta ogni 10.000 volte. 'C'è una grande responsabilità, un peso enorme nel dire che qualcosa è generato da AI', mi ha detto Spero. 'L'unica ragione per cui lo facciamo è perché siamo estremamente fiduciosi.' Analisi indipendenti lo supportano - un articolo dell'Università di Chicago non ha trovato quasi falsi positivi su circa 3.000 testi campione.

Tuttavia, la capacità di Pangram di garantire che qualcosa sia stato scritto da un umano è più traballante. Il tasso di falsi negativi - quanto spesso etichetta erroneamente testo AI come umano - è più vicino a uno su 70, secondo i test dello stesso Spero. E questo senza considerare la corsa agli armamenti con i laboratori AI che rendono i chatbot sempre più naturali, più i programmi 'umanizzatori' progettati esplicitamente per mascherare il testo AI.

Ho testato uno di questi umanizzatori chiamato Walter Writes AI. Dopo aver fatto scrivere brevi articoli a ChatGPT e Claude, li ho passati attraverso la riscrittura di Walter. Il 'I numeri non sono più abbastanza piccoli da essere ignorati' di ChatGPT è diventato 'La pura dimensione di queste cifre di utilizzo non può più essere ignorata.' Quando ho incollato l'output due volte cotto in Pangram, invariabilmente dichiarava il testo scritto da umano. (Divulgazione completa: The Atlantic vieta l'uso di testo generato da AI a meno che non sia etichettato come tale, e non uso AI per la ricerca.)

Un insegnante di una scuola superiore pubblica di New York mi ha detto di aver 'passato alcuni dei lavori dei miei studenti attraverso Pangram, e risulta 100% umano. E non credo lo sia.' Sa di cosa sono capaci i suoi ragazzi e ha ampie ragioni per dubitare di Pangram. Ma accusare falsamente uno studente comporta rischi elevati: fallimento o risentimento. 'La posta in gioco è così alta', ha detto l'insegnante, 'ma il nostro modo di valutare ciò che è generato da AI è ancora così informe.'

A complicare ulteriormente le cose, il funzionamento interno di Pangram è opaco. Il modello è stato addestrato fornendogli montagne di esempi scritti da umani e da bot - una recensione di un libro da una rivista, poi una recensione scritta da ChatGPT sullo stesso libro nello stesso stile della rivista - finché non impara a distinguerli. Ma Pangram non può indicare prove o modelli specifici. 'Il funzionamento interno dell'algoritmo è piuttosto ininterpretabile', ha ammesso Spero. Mentre vuole rendere più granulare l'etichetta 'Assistito da AI' di Pangram, 'non è ancora sicuro di quanto sia possibile'. Rischiamo di sovrapporre dipendenza da un altro algoritmo scatola nera.

Spero insiste che Pangram dovrebbe 'non essere mai l'arbitro finale' ma un punto di partenza per l'indagine, e che l'azienda indaga su ogni errore segnalato. Nota che anche i rilevatori di fumo e gli scanner TSA hanno tassi di errore di base. Il problema più grande, sostiene, non sta nella tecnologia ma in ciò che cerca di rilevare: l'AI che si insinua.