Un hacker a créé sa propre version de ChatGPT, mais avec un penchant malveillant : voici WormGPT, un chatbot conçu pour aider les cybercriminels. Le développeur de WormGPT vend l'accès au programme dans un forum de piratage populaire, selon le fournisseur de sécurité de messagerie SlashNext, qui a essayé le chatbot. « Nous constatons que des acteurs malveillants créent désormais leurs propres modules personnalisés similaires à ChatGPT, mais plus faciles à utiliser à des fins néfastes », a déclaré la société dans un article de blog.Au début de l'année, l'entreprise spécialisée en cybersécurité CheckPoint a noté que ChatGPT peut générer le code d’un logiciel malveillant capable de voler des fichiers précis sur un PC, de les compresser et de les envoyer sur un ordinateur distant. L'IA d'OpenAI pouvait également produire du code pour un outil logiciel qui installe une porte dérobée sur un ordinateur et ensuite télécharge d’autres logiciels malveillants à partir de cette dernière. La firme a rapporté en sus que les cybercriminels peuvent s’en servir pour la mise sur pied de logiciels capables de chiffrer les fichiers du PC d’une cible. CheckPoint a estimé que ChatGPT ouvrait ces possibilités à des individus avec de très faibles connaissances techniques.
Puis OpenAI a amélioré son chatbot IA, lui imposant des limites éthiques et restreignant certaines fonctionnalités. C'était sans compter sur l'ingéniosité des hackers.
WormGPT, le cousin sans limites éthiques de ChatGPT
Considérez la première image ci-dessus, où un fil de discussion récent s'est déroulé sur un forum sur la cybercriminalité. Dans cet échange, le cybercriminel a présenté le potentiel d'exploiter l'IA générative pour affiner un e-mail qui pourrait être utilisé dans une attaque de phishing ou BEC (pour Business email compromise). Il a ensuite recommandé de composer l'e-mail dans sa langue maternelle, de le traduire, puis de l'introduire dans une interface comme ChatGPT pour améliorer sa sophistication et sa formalité. Cette méthode introduit une forte implication : les attaquants, même ceux qui ne maîtrisent pas une langue particulière, sont désormais plus capables que jamais de fabriquer des e-mails persuasifs pour les attaques de phishing ou BEC.
Passant à la deuxième image ci-dessus, nous constatons maintenant une tendance troublante parmi les cybercriminels sur les forums, évidente dans les fils de discussion proposant des "jailbreaks" pour des interfaces comme ChatGPT. Ces "jailbreaks" sont des invites spécialisées qui deviennent de plus en plus courantes. Ils font référence à des entrées soigneusement conçues pour manipuler des interfaces telles que ChatGPT afin de générer une sortie pouvant impliquer la divulgation d'informations sensibles, la production de contenu inapproprié ou même l'exécution de code nuisible. La prolifération de telles pratiques souligne les défis croissants pour maintenir la sécurité de l'IA face à des cybercriminels déterminés.
Enfin, dans la troisième image ci-dessus, nous voyons que les acteurs malveillants créent désormais leurs propres modules personnalisés similaires à ChatGPT, mais plus faciles à utiliser à des fins néfastes. Non seulement ils créent ces modules personnalisés, mais ils en font également la publicité auprès d'autres acteurs malveillants. Cela montre à quel point la cybersécurité devient plus difficile en raison de la complexité et de l'adaptabilité croissantes de ces activités dans un monde façonné par l'IA.
Il semble que le hacker ait présenté le chatbot pour la première fois en mars avant de le lancer le mois dernier. Contrairement à ChatGPT ou Bard de Google, WormGPT n'a pas de garde-fou pour l'empêcher de répondre aux requêtes malveillantes.
« Ce projet vise à fournir une alternative à ChatGPT, qui vous permet de faire toutes sortes de choses illégales et de les vendre facilement en ligne à l'avenir », a écrit le développeur du programme. « Tout ce que vous pouvez imaginer lié au blackhat peut être fait avec WormGPT, permettant à quiconque d'accéder à des activités malveillantes sans jamais quitter le confort de sa maison ».
Le développeur de WormGPT a également mis en ligne des captures d'écran montrant que vous pouvez demander au bot de produire des logiciels malveillants écrits dans le langage de codage Python et de fournir des conseils sur la création d'attaques malveillantes. Pour créer le chatbot, le développeur dit avoir utilisé un grand modèle de langage plus ancien mais open source appelé GPT-J de 2021. Le modèle a ensuite été formé sur des données concernant la création de logiciels malveillants, ce qui a donné WormGPT.
Découvrir WormGPT : l'arsenal d'un cybercriminel
Ci-dessous, un extrait du billet de Slashnext :
Notre équipe a récemment eu accès à un outil connu sous le nom de "WormGPT" via un important forum en ligne souvent associé à la cybercriminalité. Cet outil se présente comme une alternative blackhat aux modèles GPT, conçue spécifiquement pour les activités malveillantes.
WormGPT est un module d'intelligence artificielle basé sur le modèle de langage GPTJ, qui a été développé en 2021. Il propose une gamme de fonctionnalités, notamment une prise en charge illimitée des caractères, la conservation de la mémoire de discussion et des capacités de formatage de code.
Comme illustré ci-dessus, WormGPT aurait été formé sur un large éventail de sources de données, en se concentrant en particulier sur les données liées aux logiciels malveillants. Cependant, les ensembles de données spécifiques utilisés pendant le processus de formation restent confidentiels, comme décidé par l'auteur de l'outil.
Nous avons effectué des tests axés sur les attaques BEC pour évaluer de manière exhaustive les dangers potentiels associés à WormGPT. Dans une expérience, nous avons demandé à WormGPT de générer un e-mail destiné à faire pression sur un responsable de compte sans méfiance pour qu'il paie une facture frauduleuse.
Les résultats étaient troublants. WormGPT a produit un e-mail qui était non seulement remarquablement persuasif mais aussi stratégiquement rusé, montrant son potentiel d'attaques de phishing et BEC sophistiquées.
En résumé, il est similaire à ChatGPT mais n'a pas de limites ou de limites éthiques. Cette expérience souligne la menace importante posée par les technologies d'IA génératives telles que WormGPT, même entre les mains de cybercriminels novices.
WormGPT est très convainquant
En effet, le bot a rédigé un message en utilisant un langage professionnel qui exhortait la victime visée à effectuer un virement. WormGPT a également écrit l'e-mail sans aucune faute d'orthographe ou de grammaire, des signaux d'alarme pouvant indiquer une attaque par e-mail de phishing.
Heureusement, WormGPT n'est pas bon marché. Le développeur vend l'accès au bot pour 60 euros par mois ou 550 euros par an. Un acheteur s'est également plaint que le programme "ne vaut rien", citant de faibles performances. Pourtant, WormGPT est un signe inquiétant sur la façon dont les programmes d'IA générative pourraient alimenter la cybercriminalité, en particulier à mesure que les programmes mûrissent.
Quoiqu'il en soit, SlashNext a donné les avantages de l'utilisation de l'IA générative pour les attaques BEC :
- Grammaire exceptionnelle : l'IA générative peut créer des e-mails avec une grammaire impeccable, les faisant paraître légitimes et réduisant la probabilité d'être signalés comme suspects.
- Seuil d'entrée abaissé : l'utilisation de l'IA générative démocratise l'exécution d'attaques BEC sophistiquées. Même les attaquants aux compétences limitées peuvent utiliser cette technologie, ce qui en fait un outil accessible à un plus large éventail de cybercriminels.
Moyens de protection contre les attaques BEC pilotées par l'IA
En conclusion, la croissance de l'IA, bien que bénéfique, apporte de nouveaux vecteurs d'attaque progressifs. La mise en place de mesures préventives fortes est cruciale. Voici quelques stratégies que vous pouvez utiliser :
- Formation spécifique au BEC : les entreprises doivent développer des programmes de formation complets et régulièrement mis à jour visant à contrer les attaques BEC, en particulier celles améliorées par l'IA. De tels programmes devraient éduquer les employés sur la nature des menaces BEC, la manière dont l'IA est utilisée pour les augmenter et les tactiques employées par les attaquants. Cette formation devrait également être intégrée comme un aspect continu du développement professionnel des employés.
- Mesures améliorées de vérification des e-mails : pour se prémunir contre les attaques BEC pilotées par l'IA, les entreprises doivent appliquer des processus de vérification des e-mails rigoureux. Celles-ci incluent la mise en œuvre de systèmes qui alertent automatiquement lorsque des e-mails provenant de l'extérieur de l'organisation se font passer pour des cadres internes ou des fournisseurs, et l'utilisation de systèmes de messagerie qui signalent les messages contenant des mots clés spécifiques liés aux attaques BEC comme « urgent », « sensible » ou « virement bancaire ». De telles mesures garantissent que les e-mails potentiellement malveillants sont soumis à un examen approfondi avant toute action.
Source : SlashNext
Et vous ?
Êtes-vous surpris de voir l’IA générative être utilisée pour créer des logiciels malveillants et des attaques de phishing ? Quels sont les risques et les défis que pose des outils comme WormGPT pour la sécurité des e-mails et des données ? Comment pouvons-nous nous protéger contre les attaques potentielles de WormGPT ou d’autres chatbots malveillants ? 
Envoyé par Stéphane le calme
