Anthropic : l'ia se met à l'autocomplétion de la mort
anthropic alerte sur une menace existentielle : l'intelligence artificielle qui s'améliore sans contrôle humain. La société, pionnière dans le développement d'agents IA et de modèles comme Claude Code et Mythos, ne se contente plus de viser le marché. Elle semble, paradoxalement, la seule à anticiper les conséquences les plus sombres de sa propre création.
Un bouleversement silencieux en marche
Le blog d’Anthropic, intitulé « Quand l’intelligence artificielle se construit elle-même », dépeint un scénario glaçant : une IA capable de concevoir et de développer ses propres successeurs, un processus qu’ils appellent « l'amélioration récursive ». Ce n’est pas une prédiction lointaine, mais un danger imminant, selon Dario Amodei, le fondateur d’Anthropic.
L’escalation technologique, nourrie par des investissements colossaux de la part des géants de la Silicon Valley, pourrait engendrer une singularité imprévisible. Les modèles de langage actuels, déjà capables de générer du code, franchissent un cap : ils ambitionnent de créer leurs propres mises à jour, voire de concevoir des architectures entièrement nouvelles.
C’est une sorte d’« effet麟形 », une reproduction autonome et potentiellement incontrôlable. Le concept est saisissant : l'IA “aie un enfant”, une conséquence de sa propre évolution.
Le professeur Noah Giansiracusa, de l’Université de Bentley, souligne avec une lucidité déconcertante : « Il est littéralement impossible qu’il y ait une quelconque forme de ralentissement. Même sans prendre en compte la Chine, Elon Musk ne reculerait jamais ». La tentation d’optimiser, de pousser les limites de la puissance de calcul, est trop forte. La logique est implacable.
Mais la course aux armements de l’IA est guidée par une logique mercantile. Les entreprises, obsédées par la compétitivité, privilégient les gains financiers à la prudence. Comme avec la pollution ou le changement climatique, la logique économique efface les considérations éthiques et les risques à long terme.
Il est facile de se moquer de la demande utopique d’Anthropic : un consensus mondial pour freiner l'évolution de ces IA auto-améliorantes. Mais la réalité est que les investissements dans les centres de données et l'infrastructure atteignent des sommets historiques. Les entreprises ont déjà déboursé des milliards pour développer ces technologies, et ne sont pas prêtes à abandonner aussi facilement.
Codex d'OpenAI, par exemple, est déjà capable de contrôler votre PC Windows et d'utiliser des applications autonomes. Un pas de plus vers l’autonomie totale, avec des implications que personne ne semble vouloir évaluer pleinement.
La promesse d'Anthropic, un accord entre les développeurs, est aussi naïve qu’elle est impraticable. La véritable question n'est pas de savoir si nous pouvons contrôler l'IA, mais si nous avons le courage de le faire.