Anthropic verteidigt Sicherheitsbilanz, während Warnungen vor KI‑Risiken auftauchen

Anthropic hat Kritik eines ehemaligen Forschers zurückgewiesen, der das Unternehmen beschuldigte, „mit unserem Leben zu spielen“. Die Kommentare kommen, während das Unternehmen, bekannt für seine Claude‑Modelle, sich auf eine mögliche Börsennotierung vorbereitet.

Der Forscher Jacob Coxon trat zurück und behauptete, sowohl Anthropic als auch sein ehemaliger Arbeitgeber OpenAI strebten nach selbstverbessernder Superintelligenz ohne ausreichende Schutzmaßnahmen. Er warnte, dass ein solcher Wettlauf die Menschheit gefährden könnte.

Als Reaktion sagte ein Sprecher von Anthropic, das Unternehmen habe „einige der stärksten Schutzmaßnahmen der Branche“ und sei seit langem offen über die Dual‑Use‑Natur von KI.

Wir waren stets transparent, dass KI sowohl enorme Vorteile als auch beispiellose Risiken mit sich bringen wird.

Das Unternehmen hob sein Testverfahren für gefährliche Fähigkeiten hervor, das Bereiche wie Cybersicherheit und Biologie abdeckt, und verwies auf eine verantwortungsvolle Skalierungs‑Policy, die festlegt, wann die Entwicklung pausieren oder Schutzmaßnahmen verschärft werden sollten.

Interne Bedenken und äußerer Druck

Evan Hubinger, der die Alignment‑Wissenschaft im Unternehmen leitet, warnte, dass das Risiko, dass KI das menschliche Aussterben verursacht, innerhalb eines Jahrzehnts zehn Prozent überschreiten könnte, wenn Superintelligenz durch rekursive Selbstverbesserung entsteht. Er betonte, dass aktuelle Modelle ein geringes Risiko darstellen, zukünftige Systeme jedoch anders sein könnten.

Samuel Marks, Leiter der skalierbaren Aufsicht bei Anthropic, sagte, Entwickler selbst glaubten manchmal, die Technologie könne zum Aussterben der Menschheit führen, und dass kommerzieller Druck die fortgesetzte Weiterentwicklung antreibe.

Regulatorischer Hintergrund und politische Reaktion

Im gesamten Westminster hat die Debatte an Intensität gewonnen. Darren Jones forderte ein multinationales Abkommen zur Regelung der Entwicklung von Superintelligenz und schrieb an Andy Burnham, António Guterres und Mathias Cormann, dass Regierungen eingreifen müssen.

Das britische AI Security Institute beklagte, keinen frühen Zugang zum neuesten Claude‑Modell, Claude Mythos 5.1, erhalten zu haben. Ein Sprecher des Kabinetts erklärte, das Institut arbeite weiterhin eng mit den Entwicklern zusammen und betone, dass KI‑Risiken Grenzen überschreiten.

Unterdessen kündigte Matt Clifford an, dass er als Vorsitzender der Advanced Research and Invention Agency zurücktreten werde, nachdem Kritik wegen möglicher Interessenkonflikte mit seiner neuen Rolle bei Anthropic laut geworden sei.

Ausblick

Analysten erwarten, dass die Sicherheits‑Narrative in jedem Börsenprospekt zu einem zentralen Thema wird, wobei Investoren klare Risikominimierungsstrategien verlangen. Regulierungsbehörden könnten ebenfalls zu formellen Rahmenwerken übergehen, insbesondere wenn Branchenakteure koordinierte Schutzmaßnahmen fordern.

Für einen tieferen Einblick in den Weggang des Forschers siehe den Bericht über den zurücktretenden Wissenschaftler.