Anthropic défend son bilan de sécurité alors que des avertissements sur les risques de l’IA émergent

Anthropic a repoussé les critiques d’un ancien chercheur qui accusait l’entreprise de « jouer avec nos vies ». Ces remarques interviennent alors que la société, connue pour ses modèles Claude, se prépare à une éventuelle introduction en bourse.

Le chercheur, Jacob Coxon, a démissionné et a affirmé que Anthropic et son ancien employeur OpenAI se livraient à une course vers une superintelligence auto‑améliorante sans garanties suffisantes. Il a averti qu’une telle course pourrait mettre en danger l’humanité.

En réponse, un porte‑parole de Anthropic a déclaré que l’entreprise possède « certaines des protections les plus solides du secteur » et qu’elle a toujours été transparente sur la double utilisation de l’IA.

Nous avons toujours été transparents sur le fait que l’IA apportera à la fois d’énormes bénéfices et des risques sans précédent.

L’entreprise a mis en avant son régime de tests pour les capacités dangereuses, couvrant des domaines tels que la cybersécurité et la biologie, et a cité une politique d’extension responsable qui détermine quand le développement doit être interrompu ou les protections renforcées.

Préoccupations internes et pressions externes

Evan Hubinger, qui dirige la science de l’alignement au sein de l’entreprise, a averti que le risque que l’IA provoque l’extinction humaine pourrait dépasser dix pour cent d’ici une décennie si la superintelligence émerge par auto‑amélioration récursive. Il a souligné que les modèles actuels présentent un risque faible, mais que les systèmes futurs pourraient être différents.

Samuel Marks, responsable de la supervision évolutive chez Anthropic, a déclaré que les développeurs eux‑mêmes croient parfois que la technologie pourrait conduire à l’extinction humaine, et que la pression commerciale alimente la poursuite du progrès.

Contexte réglementaire et réaction politique

À Westminster, le débat s’est intensifié. Darren Jones a réclamé un traité multinational pour régir le développement de la superintelligence, écrivant à Andy Burnham, António Guterres et Mathias Cormann que les gouvernements doivent intervenir.

L’AI Security Institute du Royaume‑Uni s’est plaint de ne pas avoir reçu d’accès anticipé au dernier modèle Claude, Claude Mythos 5.1. Un porte‑parole du Cabinet Office a indiqué que l’institut continue de travailler en étroite collaboration avec les développeurs, soulignant que les risques liés à l’IA traversent les frontières.

Par ailleurs, Matt Clifford a annoncé qu’il quittera son poste de président de l’Advanced Research and Invention Agency après des critiques concernant d’éventuels conflits avec son nouveau rôle chez Anthropic.

Ce qui vient ensuite

Les analystes s’attendent à ce que le récit de la sécurité devienne un thème central dans tout prospectus d’introduction en bourse, les investisseurs exigeant des stratégies claires d’atténuation des risques. Les régulateurs pourraient également évoluer vers des cadres formels, surtout si les acteurs du secteur poussent à des protections coordonnées.

Pour un examen plus approfondi du départ du chercheur, consultez le rapport sur le scientifique démissionnaire.