Lembra quando a maior ameaça à integridade acadêmica era um aluno copiando da Wikipédia? Aqueles eram tempos mais simples. Agora temos o Pangram, uma ferramenta de detecção de IA que se tornou o juiz, júri e carrasco de facto para textos suspeitos de serem escritos por bot - mesmo que possa estar piorando as coisas.

O Pangram esteve no centro de quase todas as acusações de alto perfil sobre escrita de IA ultimamente. Ele sinalizou um romance de terror retirado dias antes do lançamento, sugeriu que chatbots escreveram artigos no The New York Times, levantou suspeitas sobre contos premiados e até implicou partes significativas da encíclica do Papa Leão XIV sobre os perigos da IA. Universidades o usam para examinar trabalhos de alunos; associações científicas escaneiam artigos de pesquisa com ele. Quando o pânico sobre escrita de IA ataca, o Pangram é o botão de pânico preferido.

Há apenas alguns anos, a detecção confiável de IA parecia impossível. Em 2023, o ZeroGPT declarou a Constituição dos EUA como escrita por IA, e a OpenAI abandonou seu próprio detector devido a uma 'baixa taxa de precisão'. Isso foi quando a escrita do ChatGPT era notavelmente pior. Agora, as ferramentas de detecção melhoraram drasticamente - e o Pangram emergiu como o padrão ouro. Cole o texto e ele diz se é 'Gerado por IA', 'Assistido por IA' ou 'Escrito por Humano'.

Mas o problema com padrões ouro é que eles ainda podem manchar. O CEO do Pangram, Max Spero, afirma que o algoritmo sinaliza incorretamente texto humano como IA apenas cerca de uma vez a cada 10.000. 'Há uma grande responsabilidade, um peso enorme em dizer que algo é gerado por IA', Spero me disse. 'A única razão pela qual fazemos isso é porque estamos extremamente confiantes.' Análises independentes o apoiam - um artigo da Universidade de Chicago não encontrou quase nenhum falso positivo em cerca de 3.000 amostras de texto.

No entanto, a capacidade do Pangram de garantir que algo foi escrito por um humano é mais instável. A taxa de falso negativo - com que frequência ele rotula incorretamente texto de IA como humano - é mais próxima de uma em 70, de acordo com os próprios testes de Spero. E isso sem considerar a corrida armamentista com laboratórios de IA que tornam os chatbots cada vez mais naturais, além de programas 'humanizadores' projetados explicitamente para disfarçar texto de IA.

Testei um desses humanizadores chamado Walter Writes AI. Depois de fazer o ChatGPT e o Claude escreverem artigos curtos, passei-os pela reformulação do Walter. 'Os números não são mais pequenos o suficiente para serem ignorados' do ChatGPT se tornou 'O tamanho absoluto desses números de uso não pode mais ser ignorado.' Quando colei o resultado duas vezes cozido no Pangram, ele invariavelmente declarou o texto como escrito por humano. (Divulgação completa: O The Atlantic proíbe o uso de texto gerado por IA, a menos que seja rotulado como tal, e eu não uso IA para pesquisa.)

Um professor de escola pública de ensino médio de Nova York me disse que 'passou alguns dos trabalhos dos meus alunos pelo Pangram, e ele mostra como 100% humano. E eu não acho que seja.' Ele sabe do que seus alunos são capazes e tem ampla razão para duvidar do Pangram. Mas acusar um aluno falsamente traz altos riscos: reprovação ou ressentimento. 'Os riscos são tão altos', disse o professor, 'mas nossa forma de avaliar o que é gerado por IA ainda é tão informe.'

Complicando ainda mais as coisas, o funcionamento interno do Pangram é opaco. O modelo foi treinado alimentando-o com montanhas de exemplos escritos por humanos e por bots - uma resenha de livro de uma revista, depois uma resenha escrita pelo ChatGPT sobre o mesmo livro no mesmo estilo da revista - até que aprendesse a diferenciá-los. Mas o Pangram não pode apontar evidências ou padrões específicos. 'O funcionamento interno do algoritmo é bastante ininterpretável', admitiu Spero. Embora ele queira tornar o rótulo 'Assistido por IA' do Pangram mais granular, ele 'ainda não tem certeza de quão possível é'. Corremos o risco de depositar dependência em mais um algoritmo de caixa-preta.

Spero insiste que o Pangram 'nunca deve ser o árbitro final', mas um ponto de partida para investigação, e que a empresa investiga todos os erros relatados. Ele observa que detectores de fumaça e scanners da TSA também têm taxas de erro base. O maior problema, argumenta, não está na tecnologia, mas no que ela tenta detectar: a IA se infiltrando.