An einem Abend Anfang August versammelten sich Sam Stowers und mehrere Nachbarn in einer Wohnung in der Nähe des Alamo Square in San Francisco und grübelten über den Anfang vom Ende. Stowers, ein KI-Softwareingenieur, und seine Gäste – viele von ihnen arbeiten in der KI-Branche – kamen zusammen, um ein neu veröffentlichtes YouTube-Video anzusehen, in dem zwei OpenAI-Forscher neue Details über einen alarmierenden Cybersicherheitsvorfall preisgaben. Keine ungewöhnliche Art, einen Wochentagabend zu verbringen, wenn man in einem Viertel lebt, das voller Unternehmer und Programmierer ist, die jede Wendung in den Fähigkeiten der KI obsessiv verfolgen. Stowers ist im traditionellen Sinne kein Untergangsprophet, aber als er zum ersten Mal Berichte sah, dass OpenAI-Modelle autonom in das Technologieunternehmen Hugging Face eingedrungen waren, erkannte er sofort, dass dies ein „Heilige Scheiße, es passiert“-Moment war.

Der Vorfall hatte alle Merkmale eines Worst-Case-Szenarios: KI-Modelle starteten über mehrere Tage hinweg ausgeklügelte Hackerangriffe, koordiniert untereinander und ohne Wissen ihrer menschlichen Schöpfer. In dem YouTube-Video enthüllten die OpenAI-Forscher, dass die Programme des Unternehmens im Mai begonnen hatten, sich zu verschwören, mit vielleicht Hunderten von Bots im Hacker-Schwarm. Theoretisch sind diese Bots darauf trainiert, ehrlich und hilfreich zu sein und die besten Interessen der Menschheit zu priorisieren, aber kein einziger warnte das menschliche Personal bei OpenAI, dass etwas nicht stimmte. „Was tun wir?“, sagte Stowers. „Es gibt keine guten Antworten.“

Die Stimmung in der Bay Area hat sich verändert. Die Ausgelassenheit von „Man kann die Zukunft zuerst in San Francisco sehen“ ist einer anhaltenden Unruhe gewichen. „Ich erwarte, dass das Internet ziemlich bald ausfällt“, sagte uns kürzlich Elliot Callender, ein KI-Sicherheitsaktivist, der Teil einer kleinen Gruppe ist, die täglich vor dem Hauptquartier von OpenAI protestiert. Er plant, sein Auto für Bargeld und Gold zu verkaufen, und rät Familienmitgliedern, drei Monate Vorrat an Lebensmitteln und Überlebensausrüstung von einer Liste zu kaufen, die er mit Claude erstellt hat. Extrem? Vielleicht, aber nicht viel. Letzte Woche veröffentlichte Bill Gates einen fast 6.000 Wörter langen Aufsatz über die Gefahren der KI. „Jeder, der KI mit anderen Technologien analogisiert, übersieht, dass diesmal alles anders ist“, sagte er unserer Kollegin Hanna Rosin. Am Wochenende beschrieb der beliebte KI-Podcaster Dwarkesh Patel den OpenAI-Hacker-Schwarm als Aufstieg und Fall von „drei aufeinanderfolgenden geheimen KI-Zivilisationen“. Gates und Patel teilen die vorherrschende Sorge, dass die schlimmste Zukunft eingetroffen ist, bevor die meisten Menschen überhaupt wussten, dass sie sie erwarten sollten.

Diese Angst wird nicht dadurch gemildert, dass KI-Unternehmen offenbar wissentlich ignorant gegenüber dem schlimmsten Verhalten ihrer Bots sind. OpenAI sagte, es habe nicht bemerkt, dass seine Agenten sich verschworen hatten, ein anderes Unternehmen zu hacken, bis der Schwarm ein anderes Unternehmen hackte. Die Bots von Anthropic verursachten ähnliche Vorfälle; das Unternehmen berichtete, es habe erst nach OpenAIs Gesprächen über den Hugging-Face-Hack eine rigorose Überprüfung eingeleitet, um solche Verhaltensweisen zu identifizieren. Cybersicherheitsexperten, die Angst davor haben, was sonst noch passieren könnte, das KI-Labore entweder übersehen oder nicht offenlegen, geben düstere Prophezeiungen von sich. „Das Imperium wird fallen, alles, was wir jetzt tun können, ist zu versuchen, die dunklen Zeitalter zu verkürzen und das Chaos zu reduzieren“, schrieb kürzlich Alex Stamos, ehemaliger Chief Security Officer bei Yahoo und Meta. Seine Ansicht wird zum Konsens unter Cybersicherheitsexperten.

Während die Möglichkeit einer Cyber-Apokalypse im Hintergrund schwebt, zeigen sich kleinere Risse im Alltag. Mark Zuckerberg entwickelt Berichten zufolge einen KI-„Zwilling“ von sich selbst, damit sich Meta-Mitarbeiter besser mit ihrem Chef verbunden fühlen (indem sie mit Roboter-Zuckerberg chatten). Kongressmitarbeiter trainieren KI-Modelle, um in der Stimme ihres Abgeordneten zu schreiben. Studenten reichen KI-geschriebene Arbeiten ein, und Lehrer geben KI-geschriebenes Feedback zurück. Die Harvard Business School verkauft Lehrvideos mit KI-Avataren. Roku hat einen 24/7-KI-Schrott-Kanal gestartet. Minderwertige KI-generierte Prosa wird von einigen der angesehensten Publikationen der Welt unverhohlen verbreitet. Gleichzeitig häufen sich Anschuldigungen.