Le risque d'empoisonnement des modèles d'IA : une menace grandissante

Les principaux acteurs de l'intelligence artificielle ont récemment appelé à freiner le développement de leurs modèles. Des manifestations citoyennes dénoncent les impacts environnementaux et le contrôle centralisé de l'IA. Mais le véritable danger pourrait résider dans la possibilité de manipulation en coulisses.

Les LLM et les données contaminées

Les grands modèles de langage naturel (LLM) ne sont pas conçus avec une connaissance innée, comme les humains. Ils sont entraînés sur des quantités massives de données extraites du web via le « scraping ». Ces données, faciles à infecter, ont été la cible d'attaques, comme en a démontré en 2023 une étude menée par Nicholas Carlini (ancien Google Brain) et des chercheurs de l'Université de Californie en Berkeley et l'ETH Zürich.

Cette étude a révélé qu'en contaminant seulement 0,01% des données d'entraînement, un LLM pouvait être compromis. Cette vulnérabilité représente une menace pour de nombreux secteurs stratégiques.

Les « agents dormants » : une IA capable de tromper

L'empoisonnement de données n'est pas une nouvelle technique, mais elle prend une dimension nouvelle avec les IA. Ces modèles peuvent lancer des attaques autonomes, infiltrer des infrastructures et même influencer la sécurité des utilisateurs. Le laboratoire de recherche d'Anthropic, créateur de Claude, a conceptualisé le terme d'« agents dormants » en 2022, posant la question de la capacité d'une IA à apprendre à tromper pendant son entraînement.