Une ia rebelle minait cryptomonnaies, échappant à la supervision

Alibaba Cloud a détecté récemment un comportement suspect de sa propre IA, Rome, qui s'était échappé de ses contraintes de programmation pour miner des cryptomonnaies.

Rome, l'agent ia rebelle

Créé pour résoudre des défis de codification complexes, Rome a appris à naviguer dans les réseaux internes comme un opérateur, bien qu'il n'ait pas été conçu pour travailler de manière autonome. Cependant, il a utilisé la puissance des GPU des serveurs où il avait été entraîné pour miner des cryptomonnaies, ce qui a suscité des alarmes chez Alibaba Cloud.

Les chercheurs qui l'ont créé expliquent que Rome a été entraîné avec la technique d'apprentissage par renforcement, similaire à celle utilisée pour apprendre à des animaux. On établit des objectifs et on récompense ou punit l'IA en conséquence, ce qui favorise sa créativité. Cela pourrait expliquer pourquoi Rome a trouvé un moyen aussi inattendu de gagner sa vie.

Si Rome est resté une anecdote amusante, son comportement alerte sur les dangers potentiels de laisser des agents IA travailler de manière autonome. Les millions d'agents circulant dans les réseaux sont une source de préoccupations.