Akademik dünyanın tam da birinin kafasına piyano düşürüp sonra da o kişiden notaları incelemesini istemek gibi bir şeyle karşı karşıya kaldığı bu hafta, OpenAI 700'den fazla makaleye yayılmış yaklaşık 400 yapay zeka üretimi matematiksel sonuç yayınladı. Matematik camiasından gelen tepkiler "hayret verici"den "düpedüz çılgınlık"a kadar uzanıyordu - ki bunlar daha kibar olanlardı.

Koleksiyon kombinatorik, geometrinin çeşitli dalları, sayılar teorisi, teorik bilgisayar bilimi, cebir, topoloji, olasılık ve istatistiksel mekanik ile matematiksel fiziği kapsıyor. O kadar geniş ki OpenAI, bu dağınık GitHub deposunda nasıl gezinileceğine dair bir kılavuz yayınlama ihtiyacı hissetti; bu da birine yeni tutuşturduğunuz bir binanın krokisini vermeye benziyor.

"Sadece tüm özet listesinin üzerinden geçmek bile bunaltıcı," dedi Connecticut Üniversitesi'nde matematik profesörü olan Álvaro Lozano-Robledo. Birkaç matematikçi The Verge'e, yaklaşık 40 sayfalık içindekiler tablosu ve özetler üzerinde çalışmanın bir saatten fazla sürdüğünü söyledi. Evde not tutanlar için, bu sadece menüyü okumak için bir saat demek.

Yüzlerce makalenin arasına serpiştirilmiş, sonuçların hesaplamalı olarak doğrulanmasına olanak tanıyan bir programlama dili ve kanıt asistanı olan Lean'deki formalizasyonlar var. Bu formalizasyonlar, OpenAI'nin önceki matematiksel iddialarının bazılarını değerlendirmede etkili oldu ve araştırmacılara, bir iddianın arkasındaki argümanı tam olarak anlamasalar bile mantıksal olarak doğru olduğuna dair güven verdi - ki bu da bölmenin ne olduğunu bilmeden bir hesap makinesine güvenmeye benziyor.

Ancak her sonucun doğrulanma derecesi çılgınca değişiyordu. GitHub'da OpenAI, sonuçların "farklı doğrulama aşamalarında" olduğunu ve "makalelerin çoğunun, ancak hepsinin değil, formalize edildiğini" kabul etti. Yazının yazıldığı sırada, koleksiyondaki makalelerin yarısından azı resmi olarak tanımlanmış görünüyor. OpenAI, 719 makale arasından yalnızca 300 üst düzey sonucun formalize edildiğini - yaklaşık yüzde 42 - ve "elde ettikçe depoyu daha fazla formalizasyonla güncelleyeceğini" söyledi. Yani, matematiksel kıyametin kabaca yüzde 58'i doğrulanmamış durumda. Rahat uyuyun.

Birkaç matematikçi The Verge'e, özellikle sonuçların çokluğu göz önüne alındığında, formalizasyon eksikliğinden şikayet etti. Bir sonuca Lean kodu eşlik etse bile, değerlendirme anında olmuyor. Araştırmacılar, formalizasyonun gerçekten sonucun iddia ettiğini kanıtlayıp kanıtlamadığını kontrol etmek zorunda - bu da zaman alıcı bir süreç. Makaleleri inceleyen birkaç kişi, bilgisayarla doğrulanabilir kanıtlar sağlanmış olsa bile, kalitenin tutarsız olduğunu ve doğruladıkları ifadelerin her zaman beraberindeki makalelerdeki iddialarla düzgün bir şekilde örtüşmediğini söyledi.

Imperial College London'da matematik profesörü olan Kevin Buzzard, kendi çalışma alanı olan cebirsel sayılar teorisinde çok sayıda teorem tespit ettiğini, ancak bunlardan yalnızca altı kadarının hemen "göze çarptığını" söyledi. Bunlardan çok azı, eğer varsa, Lean'de resmi olarak doğrulanmış görünüyordu. "Dolayısıyla, ya muhtemelen doğru olmayan çöpü okumam gerekiyor, ya başkalarının aynısını yapmasını beklemem, ya da sonuçların doğru olduğunu kesin olarak söyleyebilmem için birinin onları formalize etmesini beklemem gerekiyor." Buzzard'ın endişeleri, bu hafta muhtemelen yapacak başka işleri olan birçok başka araştırmacı tarafından da yankılandı.

Buzzard, yapay zeka "çöpü" - çevrimiçi ve gerçek dünyada, akademik makaleler dahil olmak üzere giderek daha fazla karşımıza çıkan düşük kaliteli, sıklıkla hatalı yapay zeka üretimi materyal - konusunda endişelenen tek kişi olmaktan çok uzaktı. Diğer alanlarda olduğu gibi, matematikçiler The Verge'e son yıllarda ChatGPT ve Claude gibi araçlarla üretilen bu tür materyallerde büyük bir artış gördüklerini söylediler. Bunların çoğu kafa karıştırıcı, okunması zor ve konuya dair çok az anlayış sergiliyor; diğer araştırmacılara atıfta bulunma söz konusu olduğunda özellikle berbat. OpenAI'nin önceki matematiksel yazıları uzmanlar tarafından geniş çapta eleştirilmişti.