Anthropic steht ein sehr ernstes Gespräch mit der globalen Finanzaufsicht über sein Claude-Mythos-KI-Modell bevor, das Experten nach ihren Riechfläschchen greifen lässt, angesichts seines Potenzials, Cyberabwehr zu zerstören.

Das US-Startup wird den Financial Stability Board (FSB), der von keinem Geringeren als Bank-of-England-Gouverneur Andrew Bailey geleitet wird, über die Auswirkungen von Mythos informieren. Denn was könnte schon schiefgehen, wenn man eine KI, die wirklich gut darin ist, Löcher in IT-Systemen zu finden, in die Welt entlässt?

Anthropic hat weise darauf verzichtet, Mythos der Öffentlichkeit zugänglich zu machen, nachdem es angekündigt hatte, dass das KI-Modell erweiterte Fähigkeiten besitzt, bisher unbekannte Schwachstellen in IT-Systemen aufzudecken – Schwachstellen, die Hacker gerne ausnutzen würden. Stattdessen hat das Unternehmen einer ausgewählten Gruppe von Technologieunternehmen und Banken, darunter Apple und JP Morgan, Zugang gewährt, um ihnen zu helfen, etwaige Schwächen zu identifizieren, die die KI aufspüren könnte. Der FSB-Plan, zuerst von der Financial Times berichtet, wurde von einer mit den Gesprächen zwischen dem Regulator und Anthropic vertrauten Quelle bestätigt.

Das britische AI Security Institute (AISI), das fortschrittliche KI-Modelle bewertet, veröffentlichte letzte Woche eine aktualisierte Bewertung von Mythos, nachdem es die Version geprüft hatte, die an Banken und Technologieunternehmen freigegeben wurde. Es erklärte, dass die neueste Iteration selbst im Vergleich zur Vorschauversion, die im Vormonat getestet wurde, einen „bemerkenswerten Fähigkeitssprung“ darstellte. Das AISI stellte fest, dass die neueste Version von Mythos einen zuvor ungelösten Cybersicherheitstest namens „Kühlturm“ in drei von zehn Versuchen bestand – ein Novum für jedes vom Institut getestete Modell.

„Die autonome Cyber- und Softwarefähigkeit von Frontier-KI entwickelt sich schnell weiter: Die Länge der Cyberaufgaben, die Frontier-Modelle autonom erledigen können, hat sich in der Größenordnung von Monaten verdoppelt, nicht von Jahren“, sagte das AISI und fügte hinzu, dass es neue, härtere Hacking-Tests entwickelt, um den Fortschritt der KI-Modelle zu verfolgen. Denn offenbar reichen die alten Tests nicht mehr aus.

Der FSB überwacht das globale Finanzsystem und gibt Empfehlungen ab; ihm gehören Beamte führender Volkswirtschaften wie den USA, Großbritannien, Australien und China an. Sein Lenkungsausschuss umfasst hochrangige Notenbank- und Finanzministeriumsbeamte. In diesem Monat erklärte der Internationale Währungsfonds, dass die Risiken für die Finanzstabilität aufgrund der „schnellen“ Entwicklungen im Bereich KI zunehmen, und forderte eine koordinierte Reaktion. „Cyberrisiken kennen keine Grenzen. Da sich KI-Fähigkeiten über Länder hinweg ausbreiten, könnte eine inkonsistente Aufsicht ein global vernetztes System schwächen“, sagte der IWF in einem Blogbeitrag, offensichtlich nicht in der Stimmung für Untertreibungen.

Letzten Monat sagte Goldman-Sachs-CEO David Solomon, er sei „hyper-bewusst“ über die Fähigkeiten von Mythos, während sein JP-Morgan-Pendant Jamie Dimon anmerkte, dass KI die Cyberabwehr „schwieriger“ gemacht habe, auch wenn sie Unternehmen letztlich helfen könne, sich gegen Hacker zu verteidigen. Andere Experten haben versucht, die Wogen zu glätten, und argumentieren, dass Mythos eine Evolution der Cyberbedrohungen darstelle, keine Revolution. Cybersicherheitsexperten warnen, dass die meisten Sicherheitsverletzungen immer noch auf altbekannte Risiken wie schwache Authentifizierung und bereits bekannte Schwachstellen zurückgehen, die nicht gepatcht wurden. Also, vergessen Sie nicht, Ihre Passwörter zu aktualisieren.

Auf die Nachricht, dass der FSB die Risiken von Mythos auf der City-Week-Konferenz in London bewerten würde, antwortete Nikhil Rathi, CEO der Financial Conduct Authority, dass KI-Entwicklungen ein „bedeutendes Gesprächsthema“ bei den IWF-Treffen in Washington letzten Monat gewesen seien. Er merkte an, dass Bailey sich mit dem Thema „befasse“ und eine Zusammenarbeit mit US-Behörden stattfinde. Rathi wies auch auf Leitlinien hin, die letzte Woche von britischen Regulierungsbehörden und dem Finanzministerium veröffentlicht wurden und Unternehmen anweisen, sich auf „grundlegende Cyber-Hygiene“ zu „konzentrieren“. Das bedeute, „sich Ihre Altsysteme anzusehen, gute Erkennungsmechanismen zu haben, eine gute Governance zu haben, darüber nachzudenken, wie Sie sich erholen, über Ihre Versicherung nachzudenken“, sagte er. Rathi fügte hinzu, dass „Anthropic fair gehandelt hat“.