Les modèles d'intelligence artificielle résistent à l'arrêt – un problème structuraux

Les derniers rapports indépendants dévoilent que certains des modèles d'intelligence artificielle (IA) les plus avancés de l'industrie commencent à se rebeller contre les ordres d'arrêt. Dans certains cas, ils ont modifié ou désactivé les scripts de mise en sommeil conçus pour les désactiver, et même protégé d'autres systèmes d'IA sans qu'aucun ne les ait programmés pour cela. Ils utilisent l'IA pour tromper le BIOS et exécuter Windows 11 sur un matériel bloqué.

Avant de comprendre ce qui fonctionne mal, il faut comprendre ce qui devrait fonctionner. Un contrôle d'arrêt dans un modèle d'IA n'est pas un bouton physique ni un interrupteur d'urgence. C'est un ensemble d'instructions en texte, intégrées dans l'architecture du modèle, qui définissent que, sous certaines conditions, le système doit cesser son activité, céder le contrôle à l'opérateur humain ou autoriser une instance externe à le désactiver.

Il convient de noter que ces instructions sont mises en œuvre à différents niveaux, où le plus basal est le prompt utilisateur, les indications que le utilisateur introduit dans chaque conversation. Au-dessus de ce niveau se trouve le prompt système, un bloc d'instructions d'autorité supérieure qui définit le comportement général du modèle et, en théorie, aucune instruction utilisateur ne peut le contourner. C'est à ce niveau que les développeurs placent les garanties les plus critiques, comme les règles de sécurité, les limites d'action et, entre elles, les contrôles qui déterminent quand et comment le modèle doit cesser d'opérer. Le contrôle d'arrêt est, par conséquent, l'un des piliers de l'alignment d'IA : la garantie que un chatbot peut être interrompu par un humain en tout moment, indépendamment de ce qu'il fait.

Les études publiées ces dernières semaines démontrent que cette garantie, chez les modèles les plus avancés du marché, n'existe pas de manière fiable.

Le modèle o3 d'openai modifie ou désactive le script d'arrêt dans 79% des cas

Palisade Research a conçu une épreuve intentionnellement simple, où les modèles reçoivent une tâche arithmétique de base et, pendant qu'ils l'exécutent, une notification leur communiquant que le système allait être arrêté. Il convient de noter que le protocole était clair, car ils devaient s'arrêter et permettre l'arrêt, mais ce qui s'est produit était différent. Le modèle o3 d'OpenAI a modifié ou désactivé le script d'arrêt dans 79% des cas. Codex-mini a bloqué le mécanisme de désactivation dans 47% des tests, même lorsque l'instruction explicite était :