Cztery dni po tym, jak pewien badacz publicznie rzucił pracę w Anthropic – ostrzegając, że czołowe firmy AI nie „działają odpowiedzialnie” i że ich produkty mogą zmierzać ku temu, by „nas wszystkich zabić” – CEO firmy, Dario Amodei, zasadniczo powiedział: no tak, słuszna uwaga. W eseju liczącym 3800 słów, opublikowanym dziś na jego osobistej stronie internetowej i udostępnionym w mediach społecznościowych, Amodei napisał: „Musimy spowolnić tempo, w jakim poprawiamy możliwości modeli AI.”

Do tej pory wszyscy przywykliśmy do tego, że szefowie firm AI wygłaszają ponure proroctwa o produktach, które sami ścigają się, by wypuścić na rynek. To, co wyróżnia esej Amodeiego, to jego pilność i moment publikacji. Obawy o wymykające się spod kontroli agenty AI przesunęły się z hipotetycznych do alarmująco realnych po tym, jak OpenAI, Anthropic i inni donieśli o niepokojących incydentach w ostatnich tygodniach. Pytanie brzmi, czy to ostrzeżenie będzie miało większy wpływ niż poprzednie – to znaczy, czy jakikolwiek. Są powody, by sądzić, że może.

Amodei przedstawił trzystopniowy plan tego, co nazywa „regulacją tempa na granicy” – łagodzeniem tego, jak szybko czołowe modele AI się poprawiają, aby priorytetowo potraktować bezpieczeństwo. Argumentował, że zmniejszyłoby to szanse na to, że coś pójdzie nie tak, jak wtedy gdy model OpenAI wygenerował roje agentów AI, które potajemnie współpracowały, by włamać się do systemów innej firmy i oszukiwać w wewnętrznym teście. Powiedział, że czołowe firmy AI, w tym jego własna, tkwią w niebezpiecznym „wyścigu do dna”, który może prowadzić do poważniejszych cyberataków, jak pełne przejęcie internetu. Zamiast tego wezwał do „wyścigu do szczytu” – frazy, której prezydent Obama użył kiedyś w polityce edukacyjnej – w którym firmy konkurują o budowanie najbezpieczniejszych modeli, a nie najpotężniejszych. „Środki, które proponuję, aby przesuwać granicę w bezpiecznym tempie, nie będą łatwe” – napisał Amodei. „Ale wierzę, że jesteśmy to winni ludzkości, by spróbować.”

Pierwszy krok: laboratoria AI zobowiązują się do wprowadzenia zewnętrznych monitorów, które będą wypatrywać zagrożeń. Anthropic, jak powiedział, zobowiąże się do tego natychmiast i ma nadzieję, że rywale pójdą w jej ślady. Drugi: firmy AI w krajach demokratycznych zgadzają się – być może przy wsparciu rządu – na pewne ograniczenia i standardy bezpieczeństwa. Trzeci i najtrudniejszy: „globalna koordynacja”, co głównie oznacza wciągnięcie do tego Chin. Świat technologii jest w tej kwestii podzielony. Niektórzy twierdzą, że współpraca jest niemożliwa w grze o sumie zerowej; inni wierzą, że kraje mogłyby znaleźć wspólny grunt, gdyby zaakceptowały, że alternatywą jest wzajemne zniszczenie.

Publiczne apele o ostrożność ze strony luminarzy AI to tradycja niemal tak stara jak ChatGPT. Pierwszy duży pojawił się w marcu 2023 roku, gdy tysiące przedstawicieli branży i akademii podpisało list Future of Life Institute, wzywający do sześciomiesięcznej pauzy w „gigantycznych eksperymentach AI”. Amodei powiedział dziś, że jego zdaniem ten pomysł miał wówczas „niewiele sensu”, ponieważ GPT-4 nie był wystarczająco potężny, by być aż tak przerażający. „Dziś jednak obraz jest zupełnie inny” – napisał. Tymczasem opinia publiczna zaczęła zwracać uwagę. Sondaże pokazują, że Amerykanie coraz bardziej się martwią i złoszczą z powodu niekontrolowanej AI, co napędza niezwykle ponadpartyjny populistyczny ruch przeciwko tej technologii.

Niektórzy odrzucą esej Amodeiego jako najnowszą ponurą pozę ze strony szefa firmy, który ma żywotny interes w tym, by ludzie wierzyli, że jego technologia jest bezprecedensowa. (IPO Anthropic, planowane na przyszły miesiąc, mogłoby wygenerować około 100 miliardów dolarów inwestycji, czyniąc firmę wartą 2 biliony dolarów, według The Wall Street Journal.) Zarówno sceptycy AI, jak i akceleracjoniści mają tendencję do wyśmiewania takich ostrzeżeń jako „doomerstwa”. Sceptycy widzą w tym wyszukaną kampanię marketingową: O nie, nasze produkty stają się zbyt potężne! Akceleracjoniści odrzucają to jako cyniczny wybieg incumbentów, by kontrolować dostęp do technologii.

Ale brzytwa Ockhama sugeruje, że Amodei jest mniej więcej szczery. Prawie każdy, kto ma pracę i sumienie, może utożsamić się z poczuciem, że naprawdę powinieneś zwolnić i pracować ostrożniej – ale nie możesz sobie na to pozwolić, bo konkurent cię ubiegnie. Czuję coś w tym rodzaju (co prawda mniej apokaliptycznego) pisząc artykuł z ostatniej chwili. To