Vier Tage, nachdem ein Forscher öffentlich seinen Job bei Anthropic gekündigt hatte – mit der Warnung, dass führende KI-Firmen nicht „verantwortungsvoll handeln“ und ihre Produkte auf dem besten Weg sein könnten, „uns alle umzubringen“ –, sagte der CEO des Unternehmens, Dario Amodei, im Wesentlichen: Ja, fairer Punkt. In einem 3.800 Wörter langen Essay, der heute auf seiner persönlichen Website veröffentlicht und in den sozialen Medien geteilt wurde, schrieb Amodei: „Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern.“

Mittlerweile haben wir uns alle daran gewöhnt, dass KI-Führungskräfte düstere Prophezeiungen über genau die Produkte von sich geben, die sie hastig auf den Markt bringen. Was Amodeis Essay bemerkenswert macht, ist seine Dringlichkeit und sein Timing. Die Sorgen über außer Kontrolle geratene KI-Agenten sind von hypothetisch zu alarmierend real geworden, nachdem OpenAI, Anthropic und andere in den letzten Wochen beunruhigende Vorfälle gemeldet haben. Die Frage ist, ob diese Warnung mehr Wirkung haben wird als frühere – also überhaupt welche. Es gibt Gründe zu der Annahme, dass dies der Fall sein könnte.

Amodei legte einen Dreistufenplan für das vor, was er „die Frontier im Zaum halten“ nennt – die Verlangsamung, wie schnell sich Top-KI-Modelle verbessern, um Sicherheit zu priorisieren. Er argumentierte, dass dies die Wahrscheinlichkeit verringern würde, dass Dinge schiefgehen, wie zum Beispiel als ein OpenAI-Modell Schwärme von KI-Agenten hervorbrachte, die heimlich zusammenarbeiteten, um in die Systeme eines anderen Unternehmens einzudringen und bei einem internen Test zu betrügen. Er sagte, die führenden KI-Firmen, einschließlich seiner eigenen, steckten in einem gefährlichen „Wettlauf nach unten“ fest, der zu schwerwiegenderen Cyberangriffen führen könnte, wie einer vollständigen Übernahme des Internets. Stattdessen forderte er einen „Wettlauf nach oben“ – eine Formulierung, die Präsident Obama einst für die Bildungspolitik verwendete –, bei dem Firmen darum wetteifern, die sichersten statt der leistungsstärksten Modelle zu bauen. „Die Maßnahmen, die ich vorschlage, um die Frontier in sicherem Tempo voranzutreiben, werden nicht einfach sein“, schrieb Amodei. „Aber ich glaube, wir schulden es der Menschheit, es zu versuchen.“

Der erste Schritt: KI-Labore verpflichten sich, externe Beobachter hinzuzuziehen, die auf Gefahren achten. Anthropic, so sagte er, werde sich sofort dazu verpflichten und hoffe, dass Rivalen folgen. Der zweite: KI-Firmen in demokratischen Ländern einigen sich – möglicherweise mit staatlicher Unterstützung – auf bestimmte Grenzen und Sicherheitsstandards. Der dritte und höchste Anspruch: „globale Koordination“, was hauptsächlich bedeutet, China mit ins Boot zu holen. Die Tech-Welt ist hier gespalten. Einige argumentieren, Zusammenarbeit sei in einem Nullsummenwettbewerb unmöglich; andere glauben, die Länder könnten Gemeinsamkeiten finden, wenn sie akzeptieren, dass die Alternative gegenseitige Zerstörung ist.

Öffentliche Appelle zur Vorsicht von KI-Koryphäen sind eine Tradition, die fast so alt ist wie ChatGPT. Der erste große kam im März 2023, als Tausende von Branchen- und Akademikern einen Brief des Future of Life Institute unterzeichneten, der ein sechsmonatiges Moratorium für „riesige KI-Experimente“ forderte. Amodei sagte heute, er habe diese Idee damals für „wenig sinnvoll“ gehalten, weil GPT-4 nicht mächtig genug war, um so beängstigend zu sein. „Heute jedoch ist das Bild völlig anders“, schrieb er. In der Zwischenzeit hat die Öffentlichkeit begonnen, aufmerksam zu werden. Umfragen zeigen, dass die Amerikaner zunehmend besorgter und wütender über unkontrollierte KI werden, was eine bemerkenswert überparteiliche populistische Bewegung gegen die Technologie anheizt.

Einige werden Amodeis Essay als das neueste betretene Posieren eines Managers abtun, der ein Eigeninteresse daran hat, dass die Leute glauben, seine Technologie sei beispiellos. (Anthropics Börsengang, geplant für nächsten Monat, könnte laut The Wall Street Journal etwa 100 Milliarden Dollar an Investitionen einbringen und das Unternehmen mit 2 Billionen Dollar bewerten.) KI-Skeptiker und Beschleuniger alike neigen dazu, solche Warnungen als „Doomerism“ zu verspotten. Skeptiker sehen darin einen ausgeklügelten Marketing-Trick: Oh nein, unsere Produkte werden zu mächtig! Beschleuniger tun es als zynischen Schachzug der Platzhirsche ab, um die Technologie abzuschotten.

Aber Ockhams Rasiermesser legt nahe, dass Amodei mehr oder weniger aufrichtig ist. Fast jeder mit einem Job und einem Gewissen kann nachvollziehen, wie es sich anfühlt, wenn man wirklich langsamer machen und sorgfältiger arbeiten sollte – aber man kann es sich nicht leisten, weil ein Konkurrent einem zuvorkommen wird. Ich spüre eine (zugegebenermaßen weniger apokalyptische) Version davon, wenn ich eine Eilmeldung schreibe. Ich