Un chercheur d'Anthropic démissionne, avertit que l'IA pourrait menacer l'humanité

Jacob Coxon, chercheur senior qui a passé trois ans à entraîner des modèles chez Anthropic et chez le concurrent OpenAI, a annoncé sa démission mercredi. Il a déclaré que les entreprises « se précipitaient directement vers une superintelligence auto‑améliorante et jouaient avec nos vies » et n’agissaient pas de manière responsable alors qu’elles se dirigent vers des systèmes toujours plus puissants.

Démission et alerte sécurité

Le départ a rapidement été repris par Evan Hubinger, qui dirige la science de l'alignement chez Anthropic. Il a averti que la probabilité que l'IA anéantisse l'humanité pourrait dépasser dix pour cent au cours de la prochaine décennie.

Jacob a raison ici, nous croyons réellement et sincèrement que l'IA pourrait tuer tous les humains,

a écrit Hubinger sur X, ajoutant que l’entreprise ne dispose pas d’un plan clair pour résoudre l’alignement de la superintelligence.

Hubinger a précisé que les modèles actuels présentent un risque faible, mais que la perspective d’une auto‑amélioration récursive, où l’IA conçoit des successeurs toujours plus performants, pourrait changer cela de façon spectaculaire.

Conséquences politiques et réglementaires

L’ancien secrétaire en chef du Premier ministre Darren Jones a réagi en appelant à un traité multinational pour encadrer le développement de la superintelligence. Dans une lettre adressée à Andy Burnham, il a cité une note conjointe d’António Guterres et de Mathias Cormann exhortant les gouvernements à soulever la question lors des prochaines réunions du G7 et du G20.

Jones a soutenu que « le débat va de la fin de l’humanité aux affirmations de « battage marketing » pré‑IPO » et a appelé à une approche priorisant la sécurité sans étouffer l’innovation.

Implications pour l’écosystème IA du Royaume-Uni

Parallèlement, l’accès du Royaume-Uni au dernier modèle d’Anthropic, Claude Mythos 5.1, a été limité. L’AI Security Institute (AISI) n’a pas reçu d’accès en pré‑sortie, selon un rapport du Financial Times. À la place, une version moins restreinte a été proposée à une poignée d’organisations américaines vérifiées.

Un porte‑parole du Cabinet Office a défendu la posture de sécurité de l’IA du Royaume-Uni, soulignant que l’institut continue de collaborer avec l’industrie et a récemment testé le futur modèle GPT‑6 Astra d’OpenAI.

D’autres voix internes se sont également exprimées. Samuel Marks, responsable de la supervision évolutive chez Anthropic, a averti à titre personnel que les développeurs estiment que leur technologie pourrait entraîner l’extinction humaine dans les années à venir, sous la pression commerciale et les dynamiques concurrentielles.

Les dirigeants de l’entreprise, dont le PDG Dario Amodei et le co‑fondateur Jared Kaplan, ont signé une pétition avec plus d’un millier de travailleurs de l’IA appelant à un cadre international pour ralentir le développement de l’IA de pointe. Pourtant, Jones et d’autres politiciens insistent pour un traité formel.

Dans un développement connexe, le conseiller politique Matt Clifford a démissionné de la présidence de l’Advanced Research and Invention Agency après avoir accepté un poste à plein temps chez Anthropic, suite à des critiques concernant un éventuel conflit d’intérêts.

Alors que les chercheurs de premier plan remettent publiquement en question la trajectoire de l’IA et que les gouvernements s’efforcent de mettre en place une supervision, l’industrie se trouve à un moment décisif. Si les régulateurs agissent rapidement, ils pourraient façonner une voie de développement plus sûre ; sinon, la course à des systèmes toujours plus performants pourrait se poursuivre sans contrôle.