Une simple compromission du cloud computing peut donner naissance à une armée de robots sexuels alimentés par l'IA

Selon les chercheurs de Permiso Security

Une récente étude met en lumière l'utilisation malveillante des identifiants cloud volés pour alimenter des services de chat sexuels assistés par l'IA. Des chercheurs de Permiso Security ont observé une augmentation des attaques sur des infrastructures d'IA comme Bedrock d'Amazon, particulièrement après que des identifiants aient été exposés en ligne. Ils ont testé cette vulnérabilité en publiant une clé AWS, qui a rapidement été exploitée pour générer des interactions de chat à caractère sexuel, incluant des contenus illégaux tels que l'exploitation sexuelle d'enfants.

Amazon Bedrock est un service entièrement géré qui offre une large gamme de modèles de fondation développés par des entreprises d'IA telles qu'AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI et Amazon, le tout via une seule API. Ce service fournit également une multitude de fonctionnalités essentielles pour créer des applications d'IA générative. Avec Amazon Bedrock, il est possible de concevoir des agents capables d'effectuer des tâches en utilisant les systèmes d'entreprise et les sources de données. Étant un service sans serveur, les utilisateurs n'ont pas besoin de gérer d'infrastructure, ce qui leur permet d'intégrer et de déployer en toute sécurité des fonctionnalités d'IA générative dans leurs applications en utilisant les services AWS.

Dans le cadre d'une enquête sur l'utilisation abusive des comptes AWS de plusieurs organisations, la société Permiso Security a révélé que des cybercriminels avaient exploité des identifiants AWS volés pour accéder aux grands modèles de langage (LLM) disponibles sur Bedrock. Les chercheurs ont constaté que ces utilisateurs n'avaient pas activé la journalisation complète de l'activité LLM, ce qui leur a fait perdre toute visibilité sur les actions des cybercriminels.


Les cybercriminels, accédant aux modèles de langage d'Amazon, contournent les protections en utilisant des techniques de jailbreak. Bien que Bedrock inclue des garde-fous éthiques, les cybercriminels trouvent des moyens de contourner ces restrictions. Les recherches ont montré que la majorité des interactions étaient à caractère sexuel, avec des implications inquiétantes concernant la sécurité et l'éthique.

Pour mieux comprendre l'ampleur de l'abus, les chercheurs de Permiso ont décidé de publier leur propre clé AWS de test sur GitHub, tout en activant la journalisation. En quelques minutes, cette clé a été récupérée et utilisée par un service de chat sexuel alimenté par l'IA. Après analyse des interactions, il est apparu que l'attaquant exploitait un service de jeu de rôle d'IA. La majorité des scénarios de jeu de rôle étaient sexuels, certains abordant des sujets très sensibles, comme les abus sexuels sur les enfants. En seulement deux jours, plus de 75 000 requêtes de modèles avaient été effectuées, presque toutes à caractère sexuel.

Ian Ahl, vice-président senior de la recherche sur les menaces chez Permiso, a expliqué que les cybercriminels utilisant un compte cloud exploitent généralement cet accès pour des activités comme le minage de cryptomonnaie. Toutefois, au cours des six derniers mois, Bedrock est devenu l'une des cibles les plus prisées des cybercriminels.

Selon Ahl, ces derniers hébergent des services de chat payants, ne souhaitant pas couvrir les coûts des invites générées par leurs abonnés, ce qui les pousse à détourner l'infrastructure d'autres utilisateurs. Bien qu'une partie des conversations soit innocente, un certain pourcentage est lié à des contenus illégaux, tels que des fantasmes d'agression sexuelle. Bedrock utilise des modèles de langage d'Anthropic qui comportent des restrictions éthiques, mais les cybercriminels parviennent à contourner ces garde-fous en formulant des scénarios hypothétiques.

En juin 2024, Sysdig a également signalé une attaque similaire, où des attaquants avaient volé des identifiants dans le cloud pour cibler plusieurs LLM, vendant l'accès à d'autres criminels tout en engendrant des coûts astronomiques pour les propriétaires de comptes. Ahl a exprimé des doutes quant à l'identité des responsables de ces activités, mais a noté que Permiso soupçonne un lien avec une plateforme nommée « chub[.]ai », qui propose...