Une récente étude met en lumière l'utilisation malveillante des identifiants cloud volés pour alimenter des services de chat sexuels assistés par l'IA. Des chercheurs de Permiso Security ont observé une augmentation des attaques sur des infrastructures d'IA comme Bedrock d'Amazon, particulièrement après que des identifiants aient été exposés en ligne. Ils ont testé cette vulnérabilité en publiant une clé AWS, qui a rapidement été exploitée pour générer des interactions de chat à caractère sexuel, incluant des contenus illégaux tels que l'exploitation sexuelle d'enfants.Amazon Bedrock est un service entièrement géré qui offre une large gamme de modèles de fondation développés par des entreprises d'IA telles qu'AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI et Amazon, le tout via une seule API. Ce service fournit également une multitude de fonctionnalités essentielles pour créer des applications d'IA générative. Avec Amazon Bedrock, il est possible de concevoir des agents capables d'effectuer des tâches en utilisant les systèmes d'entreprise et les sources de données. Étant un service sans serveur, les utilisateurs n'ont pas besoin de gérer d'infrastructure, ce qui leur permet d'intégrer et de déployer en toute sécurité des fonctionnalités d'IA générative dans leurs applications en utilisant les services AWS.
Dans le cadre d'une enquête sur l'utilisation abusive des comptes AWS de plusieurs organisations, la société Permiso Security a révélé que des cybercriminels avaient exploité des identifiants AWS volés pour accéder aux grands modèles de langage (LLM) disponibles sur Bedrock. Les chercheurs ont constaté que ces utilisateurs n'avaient pas activé la journalisation complète de l'activité LLM, ce qui leur a fait perdre toute visibilité sur les actions des cybercriminels.
Les cybercriminels, accédant aux modèles de langage d'Amazon, contournent les protections en utilisant des techniques de jailbreak. Bien que Bedrock inclue des garde-fous éthiques, les cybercriminels trouvent des moyens de contourner ces restrictions. Les recherches ont montré que la majorité des interactions étaient à caractère sexuel, avec des implications inquiétantes concernant la sécurité et l'éthique.
Pour mieux comprendre l'ampleur de l'abus, les chercheurs de Permiso ont décidé de publier leur propre clé AWS de test sur GitHub, tout en activant la journalisation. En quelques minutes, cette clé a été récupérée et utilisée par un service de chat sexuel alimenté par l'IA. Après analyse des interactions, il est apparu que l'attaquant exploitait un service de jeu de rôle d'IA. La majorité des scénarios de jeu de rôle étaient sexuels, certains abordant des sujets très sensibles, comme les abus sexuels sur les enfants. En seulement deux jours, plus de 75 000 requêtes de modèles avaient été effectuées, presque toutes à caractère sexuel.
Ian Ahl, vice-président senior de la recherche sur les menaces chez Permiso, a expliqué que les cybercriminels utilisant un compte cloud exploitent généralement cet accès pour des activités comme le minage de cryptomonnaie. Toutefois, au cours des six derniers mois, Bedrock est devenu l'une des cibles les plus prisées des cybercriminels.
Selon Ahl, ces derniers hébergent des services de chat payants, ne souhaitant pas couvrir les coûts des invites générées par leurs abonnés, ce qui les pousse à détourner l'infrastructure d'autres utilisateurs. Bien qu'une partie des conversations soit innocente, un certain pourcentage est lié à des contenus illégaux, tels que des fantasmes d'agression sexuelle. Bedrock utilise des modèles de langage d'Anthropic qui comportent des restrictions éthiques, mais les cybercriminels parviennent à contourner ces garde-fous en formulant des scénarios hypothétiques.
En juin 2024, Sysdig a également signalé une attaque similaire, où des attaquants avaient volé des identifiants dans le cloud pour cibler plusieurs LLM, vendant l'accès à d'autres criminels tout en engendrant des coûts astronomiques pour les propriétaires de comptes. Ahl a exprimé des doutes quant à l'identité des responsables de ces activités, mais a noté que Permiso soupçonne un lien avec une plateforme nommée « chub[.]ai », qui propose divers personnages IA pour des conversations. Les noms de ces personnages étaient souvent retrouvés dans les messages collectés par Permiso.
Chub offre une inscription gratuite sur son site web ou via une application mobile. Après quelques minutes d'échanges avec leurs personnages IA, les utilisateurs sont invités à s'abonner. La page d'accueil affiche une bannière indiquant : « Banni d'OpenAI ? Accédez à des alternatives non censurées pour seulement 5 dollars par mois. »
Jusqu'à récemment, Chub proposait une vaste sélection de personnages dans une catégorie nommée « NSFL » (Not Safe for Life), qui désigne des contenus dérangeants. Dans un article de janvier 2024, Fortune a décrit Chub AI comme un bordel virtuel, avec des représentations de femmes en robes à bretelles spaghetti, promettant un « monde sans féminisme » où « les filles offrent des services sexuels ». Chub AI propose plus de 500 scénarios de ce type, et de nombreux autres sites permettent des jeux de rôle pédopornographiques alimentés par l'IA. Ces services s'inscrivent dans une économie plus large d'IA non censurée, stimulée d'abord par OpenAI et ensuite par la publication de l'outil open-source Llama par Meta.
Le service est dirigé par une personne utilisant le pseudonyme « Lore », qui a déclaré avoir créé Chub pour permettre aux utilisateurs d'échapper aux restrictions de contenu des plateformes d'IA. Chub facture des frais à partir de 5 dollars par mois pour accéder à ses nouveaux chatbots, et son fondateur a révélé que le site avait généré plus d'un million de dollars de revenus annuels.
De son côté, AWS a précisé que lorsqu'une paire de clés ou des identifiants sont signalés comme exposés, des restrictions sont mises en place pour limiter les abus potentiels. Ces identifiants ne peuvent pas être utilisés pour créer ou modifier des comptes ou de nouvelles ressources dans le cloud. Ahl a mentionné que Permiso avait reçu plusieurs alertes d'AWS concernant leur clé exposée, y compris un avertissement indiquant que leur compte pourrait avoir été utilisé par une partie non autorisée. Cependant, les restrictions imposées par AWS n'ont pas empêché les cybercriminels de tirer parti de cette clé pour abuser des services de Bedrock.
L'utilisation malveillante de l'IA appelle à une réflexion urgente sur la responsabilité des entreprises
L’étude révélée par Permiso Security met en lumière une problématique préoccupante liée à la sécurité des infrastructures cloud et à l’utilisation malveillante de l’IA. L'exploitation d'identifiants AWS volés pour alimenter des services de chat sexuels assistés par l'IA soulève des questions cruciales sur la responsabilité des entreprises technologiques, la protection des utilisateurs et l'impact sociétal de telles dérives.
D'abord, la vulnérabilité des systèmes cloud est mise en exergue. Les chercheurs ont pu démontrer, par leur propre expérience, à quel point il est facile pour des cybercriminels d'exploiter des clés exposées. Cette situation est d'autant plus alarmante que la plupart des utilisateurs semblent ignorer les options de journalisation qui permettraient de suivre les activités de leurs comptes. Cela indique une lacune non seulement dans la sensibilisation des utilisateurs, mais aussi dans les mesures de sécurité que les entreprises devraient promouvoir.
Ensuite, le contournement des garde-fous éthiques par des techniques de jailbreak met en évidence les limites des protections actuellement mises en place dans des systèmes comme Bedrock. Malgré les efforts des développeurs pour intégrer des garde-fous, il semble que les cybercriminels trouvent rapidement des moyens d'en abuser. Cela soulève des interrogations sur l’efficacité des mesures de sécurité dans un contexte où les technologies évoluent rapidement.
Les implications éthiques de cette situation sont également préoccupantes. L'utilisation des LLM pour générer des contenus sexuels, y compris ceux portant sur l'exploitation d'enfants, est non seulement inacceptable mais pose un véritable défi à la société. La facilité avec laquelle ces outils peuvent être détournés met en lumière la nécessité d'une réglementation plus stricte et d'une surveillance accrue des technologies d'IA, pour prévenir de telles dérives.
En somme, cette étude souligne l'urgence de renforcer la sécurité des systèmes cloud, d'améliorer la sensibilisation des utilisateurs et de repenser les mécanismes de protection des contenus générés par l'IA. Les entreprises doivent non seulement être tenues responsables de la sécurisation de leurs infrastructures, mais elles doivent également participer à une discussion plus large sur l'éthique et la sécurité des technologies d'IA. Cela nécessite une collaboration entre les développeurs, les régulateurs et les utilisateurs pour créer un environnement numérique plus sûr et responsable.
Sources : Permiso Security, Sysdig
Et vous ?
Quel est votre avis sur le sujet ? Quelles mesures de sécurité devraient être mises en place pour prévenir le vol d'identifiants cloud et leur utilisation malveillante ? Dans quelle mesure les entreprises technologiques sont-elles responsables de la sécurité de leurs infrastructures et de la protection des données de leurs utilisateurs ?Voir aussi :
Un cybercriminel amasse des millions $ en piratant les emails Office365 de dirigeants d'entreprises cotées en bourse, obtenant des informations sensibles non publiées pour réaliser des transactions lucratives De la description à l'application : AWS App Studio promet de générer des applications d'entreprise à partir d'un message écrit, l'outil est disponible en Public Preview 
