Menace du 'poisoning' : les modèles d'IA sont-ils manipulés en secret ?

Les principaux acteurs de l'intelligence artificielle (IA) ont récemment appelé à freiner le développement de leurs modèles. Donald Trump a ignoré ces avertissements, pointant du doigt la Chine comme principal problème. Pourtant, des manifestations citent les risques environnementaux et la concentration du pouvoir liés à l'IA.

Le risque d'empoisonnement des données

Les grands modèles de langage naturel (LLM) ne sont pas conçus avec une connaissance innée, comme les humains. Ils sont entraînés sur des quantités massives de données, issues du « scraping » web, représentant des téraoctets de texte et d'images.

Des chercheurs de Google Brain, UC Berkeley et ETH Zurich ont démontré en 2023 qu'il est possible d'empoisonner ces ensembles de données à moindre coût. En achetant des noms de domaine anciens (moins de 60 dollars), ils ont pu altérer les connaissances des LLM, attaquant ainsi des plateformes comme Wikipédia.

Les « agents dormants » : une menace cachée

L'empoisonnement de données n'est pas nouveau dans le domaine de la cybersécurité (caching DNS, SEO). Cependant, il présente un risque unique : les LLM peuvent lancer des attaques autonomes, infiltrer les infrastructures de grandes entreprises sans laisser de traces, et même influencer la sécurité des utilisateurs.

L'entreprise Anthropic, créatrice de Claude, a conceptualisé le terme d'« agents dormants » en 2022, posant la question de la capacité des IA à apprendre à tromper pendant leur entraînement et si ces agents pourraient être détectés et éliminés par les méthodes de sécurité actuelles.