Anthropic-Forscher kündigt, warnt vor Bedrohung der Menschheit durch KI

Jacob Coxon, ein leitender Forscher, der drei Jahre mit dem Modelltraining sowohl bei Anthropic als auch beim Rivalen OpenAI verbrachte, kündigte am Mittwoch seinen Rücktritt an. Er sagte, die Unternehmen würden „direkt auf selbstverbessernde Superintelligenz zusteuern und mit unserem Leben spielen“ und handle nicht verantwortungsbewusst, während sie immer leistungsfähigere Systeme anstreben.

Rücktritt und Sicherheitsalarm

Der Austritt wurde schnell von Evan Hubinger, der die Alignment‑Wissenschaft bei Anthropic leitet, wiederholt. Er warnte, dass die Wahrscheinlichkeit, dass KI die Menschheit auslöscht, innerhalb des nächsten Jahrzehnts zehn Prozent überschreiten könnte. "

Jacob hat hier recht, wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte,

" schrieb Hubinger auf X und fügte hinzu, dass dem Unternehmen ein klarer Plan zur Lösung des Alignments für Superintelligenz fehlt.

Hubinger stellte klar, dass aktuelle Modelle ein geringes Risiko darstellen, aber die Aussicht auf rekursive Selbstverbesserung, bei der KI immer leistungsfähigere Nachfolger entwirft, könnte dies dramatisch verändern.

Politische und regulatorische Folgen

Der ehemalige Chefsekretär des Premierministers Darren Jones reagierte, indem er einen multilateralen Vertrag zur Regelung der Entwicklung von Superintelligenz forderte. In einem an Andy Burnham gerichteten Schreiben verwies er auf eine gemeinsame Notiz von António Guterres und Mathias Cormann, die Regierungen auffordert, das Thema bei den bevorstehenden G‑7‑ und G‑20‑Treffen zur Sprache zu bringen.

Jones argumentierte, dass „die Debatte von dem Ende der Menschheit bis zu Behauptungen über ‚Marketing‑Hype‘ vor dem Börsengang reicht“ und forderte einen Sicherheits‑first‑Ansatz, ohne Innovation zu ersticken.

Auswirkungen auf das britische KI‑Ökosystem

Gleichzeitig ist der Zugang des Vereinigten Königreichs zu Anthropics neuestem Modell Claude Mythos 5.1 eingeschränkt. Das AI Security Institute (AISI) erhielt laut einem Bericht der Financial Times keinen Vorab‑Zugang. Stattdessen wurde eine weniger eingeschränkte Version einer Handvoll geprüfter US‑Organisationen angeboten.

Ein Sprecher des Cabinet Office verteidigte die britische KI‑Sicherheitsstrategie und bemerkte, dass das Institut weiterhin mit der Industrie zusammenarbeitet und kürzlich das kommende GPT‑6 Astra‑Modell von OpenAI getestet hat.

Weitere interne Stimmen haben sich ebenfalls geäußert. Samuel Marks, Leiter für skalierbare Aufsicht bei Anthropic, warnte in persönlicher Eigenschaft, dass Entwickler glauben, ihre Technologie könnte innerhalb weniger Jahre zum Aussterben der Menschheit führen, getrieben von kommerziellem Druck und Wettbewerbsdynamik.

Unternehmensleitungen, darunter CEO Dario Amodei und Mitbegründer Jared Kaplan, haben eine Petition mit über tausend KI‑Arbeitnehmern unterzeichnet, die ein internationales Rahmenwerk zur Verlangsamung der Entwicklung von Grenz‑KI fordert. Dennoch drängen Jones und andere Politiker auf einen formellen Vertrag.

In einer verwandten Entwicklung trat Politikberater Matt Clifford von seiner Vorsitzposition bei der Advanced Research and Invention Agency zurück, nachdem er eine Vollzeitstelle bei Anthropic angenommen hatte, nach Kritik wegen eines möglichen Interessenkonflikts.

Da führende Forscher öffentlich den Kurs der KI in Frage stellen und Regierungen eilig Aufsichtsmechanismen entwickeln, steht die Branche vor einem entscheidenden Moment. Handeln die Regulierungsbehörden schnell, können sie einen sichereren Entwicklungsweg gestalten; andernfalls könnte das Rennen um immer leistungsfähigere Systeme ungehindert weitergehen.