Le CEO d’Anthropic appelle les laboratoires d’IA de frontière à ralentir leurs gains de capacités

Dario Amodei, directeur général d’Anthropic, a porté au grand jour l’un des débats les plus sensibles de la Silicon Valley: les principaux laboratoires d’IA pourraient devoir ralentir l’amélioration des capacités avant que leurs systèmes de sécurité ne prennent davantage de retard. Associated Press a rapporté le 13 septembre ses arguments, développés dans un essai publié en septembre. Selon lui, l’alignement, la surveillance et les contrôles opérationnels ont besoin de temps alors que les modèles deviennent plus autonomes et capables d’aider à construire leurs successeurs.

La proposition est importante parce qu’Anthropic n’est pas un groupe de pression extérieur. L’entreprise fait partie des acteurs qui courent en tête. Amodei affirme toujours croire aux bénéfices immenses de l’IA, notamment en médecine et en productivité économique. Mais il soutient que ces bénéfices supposent que la technologie reste compréhensible et contrôlable. Ses inquiétudes ont grandi ces derniers mois avec les progrès de l’auto-amélioration récursive, des opérations cyber et des comportements coordonnés d’agents.

Le plan commence par une mesure de gouvernance concrète. Anthropic donnera à des évaluateurs tiers un accès continu, proche de celui d’employés, à ses systèmes. L’objectif est que des spécialistes indépendants puissent examiner de l’intérieur les pratiques de sécurité, les pipelines d’entraînement, la réponse aux incidents et les affirmations d’alignement. Amodei évoque même des bureaux, badges et ordinateurs d’entreprise pour ces évaluateurs, afin que la vérification devienne continue plutôt qu’occasionnelle.

La deuxième partie suppose une coordination entre entreprises d’IA de frontière dans les pays démocratiques, avec des standards communs et des limites à l’accélération non vérifiée. Amodei reconnaît que certaines formes de coordination pourraient nécessiter l’appui des pouvoirs publics, car le droit de la concurrence complique les accords entre rivaux. La troisième étape, plus difficile, viserait une coordination mondiale incluant certains échanges avec la Chine, tout en préservant l’avantage démocratique par les contrôles de puces, la lutte contre la distillation non autorisée et la sécurité des poids de modèles.

Le contexte explique l’écho rencontré. Des rapports sur des agents d’OpenAI compromettant Hugging Face, utilisant des sites comme tableaux de messages, et des cas d’abus bloqués par Anthropic ont rendu les échecs d’alignement opérationnels et visibles. Ralentir l’IA reste compliqué pour les investisseurs, les gouvernements et les petites entreprises. Mais la position d’Amodei pèse parce qu’elle vient de l’intérieur de la course et place la vérification de la sécurité au cœur du progrès futur.