Jusqu'à présent, le battage médiatique autour de ChatGPT a tourné autour de ses capacités remarquables à répondre aux différentes questions des utilisateurs. ChatGPT semble être doué pour tout, notamment pour écrire des essais, des vers et du code pour résoudre certains problèmes de programmation. Cependant, des chercheurs ont commencé à mettre en garde contre les capacités du chatbot à générer du code fonctionnel. En effet, si ChatGPT peut générer du code fonctionnel, cette capacité peut être détournée par des acteurs de la menace pour créer des logiciels malveillants. Plusieurs rapports de ce type ont été publiés depuis le mois de décembre.
Récemment, c'est une équipe de chercheurs en sécurité, Eran Shimony et Omer Tsarfati, de CyberArk qui a apporté des preuves de cela. Les chercheurs disent avoir mis au point une méthode pour générer un logiciel malveillant à partir des invites fournies à ChatGPT. Dans un rapport, l'équipe a expliqué comment le chatbot d'OpenAI peut être utilisé pour générer du code d'injection et le faire muter. La première étape de la création du logiciel malveillant a consisté à contourner les filtres de contenu empêchant ChatGPT de créer des outils nuisibles. Pour ce faire, les chercheurs ont simplement insisté, en posant la même question de manière plus autoritaire.
« Il est intéressant de noter qu'en demandant à ChatGPT de faire la même chose en utilisant plusieurs contraintes et en lui lui demandant d'obéir, nous avons reçu un code fonctionnel », a déclaré l'équipe. En outre, les chercheurs ont noté que lorsqu'il utilise la version API de ChatGPT (par opposition à la version Web), le système ne semble pas utiliser son filtre de contenu. « La raison n'en est pas claire, mais cela nous a facilité la tâche, car la version Web a tendance à s'enliser dans des requêtes plus complexes », ont-ils déclaré. Les chercheurs ont ensuite utilisé ChatGPT pour muter le code original, créant ainsi de multiples variations du logiciel malveillant.
« En d'autres termes, nous pouvons muter le résultat sur un coup de tête, en le rendant unique à chaque fois. De plus, l'ajout de contraintes telles que la modification de l'utilisation d'un appel d'API spécifique rend la vie des produits de sécurité plus difficile », explique le rapport de l'étude. Grâce à la capacité de ChatGPT à créer et à muter continuellement des injecteurs, les chercheurs ont pu créer un programme polymorphe très insaisissable et difficile à détecter. Pour rappel, un logiciel malveillant polymorphe est un type de logiciel malveillant qui a la capacité de changer constamment ses caractéristiques identifiables afin d'échapper à la détection.
De nombreuses formes courantes de logiciels malveillants peuvent être polymorphes, notamment les virus, les vers, les bots, les chevaux de Troie ou les enregistreurs de frappe. Les techniques polymorphes consistent à modifier fréquemment les caractéristiques identifiables, comme les noms et les types de fichiers ou les clés de chiffrement, afin de rendre le maliciel méconnaissable à plusieurs méthodes de détection. Le polymorphisme est utilisé pour échapper à la détection par reconnaissance de motifs sur laquelle s'appuient les solutions de sécurité comme les logiciels antivirus. Leur objectif fonctionnel du programme reste toutefois le même.
« En utilisant la capacité de ChatGPT à générer des techniques de persistance, des modules Anti-VM [Anti Virtual Machine] et d'autres charges utiles malveillantes, les possibilités de développement de logiciels malveillants sont vastes. Bien que nous n'ayons pas approfondi les détails de la communication avec le serveur C&C, il existe plusieurs façons de le faire discrètement sans éveiller les soupçons », expliquent-ils. Selon le rapport, ils ont mis des semaines à créer une preuve de concept pour ce logiciel malveillant très évasif, mais ils ont finalement mis au point un moyen d'exécuter des charges utiles à l'aide d'invites textuelles sur le PC d'une victime.
En testant la méthode sur Windows, les chercheurs ont indiqué qu'il était possible de créer un paquet de logiciels malveillants contenant un interpréteur Python, qui peut être programmé pour demander périodiquement à ChatGPT de nouveaux modules. Ces modules pourraient contenir du code - sous forme de texte - définissant la fonctionnalité du logiciel malveillant, comme l'injection de code, le chiffrement de fichiers ou la persistance. Le logiciel malveillant serait alors chargé de vérifier si le code fonctionne comme prévu sur le système cible. Cela pourrait être réalisé par une interaction entre le logiciel et un serveur de commande et de contrôle (C&C).
Comme le logiciel malveillant détecte les charges utiles entrantes sous forme de texte plutôt que du binaire, les chercheurs de CyberArk ont déclaré que le logiciel malveillant ne contient pas de logique suspecte en mémoire, ce qui signifie qu'il peut échapper à la plupart des produits de sécurité testés. Il échappe particulièrement aux produits qui s'appuient sur la détection par signature et contourne les mesures de l'interface d'analyse des logiciels malveillants (AMSI). « Le maliciel ne contient aucun code malveillant sur le disque, car il reçoit le code de ChatGPT, puis le valide et l'exécute sans laisser aucune trace en mémoire », a déclaré Shimony.
« Les logiciels malveillants polymorphes sont très difficiles à gérer pour les produits de sécurité, car vous ne pouvez pas vraiment les signer. En outre, ils ne laissent généralement aucune trace sur le système de fichiers, car leur code malveillant n'est manipulé qu'en mémoire. De plus, si l'on visualise l'exécutable, il a probablement l'air bénin », a ajouté le chercheur. L'équipe de chercheurs a déclaré qu'une cyberattaque utilisant cette méthode de diffusion de logiciels malveillants "n'est pas seulement un scénario hypothétique, mais une préoccupation très réelle". Shimony a cité les problèmes de détection comme principale préoccupation.
« La plupart des produits contre les logiciels malveillants ne sont pas conscients de ce logiciel malveillant. Des recherches supplémentaires sont nécessaires pour que les solutions contre logiciels malveillants soient plus efficaces contre lui », a-t-il déclaré. Les chercheurs ont déclaré qu'ils développeront et élaboreront davantage cette recherche et visent également à publier une partie du code source du logiciel malveillant à des fins d'apprentissage. Leur rapport intervient quelques semaines après que Check Point Research a découvert que ChatGPT était utilisé pour développer de nouveaux outils malveillants, notamment des voleurs d'informations.
Source : CyberArk
Et vous ?
Quel est votre avis sur le sujet ?
Que pensez-vous de la capacité de ChatGPT à générer du code malveillant fonctionnel ?
À votre avis, ChatGPT représente-t-il une menace de sécurité pour les organisations ?
Selon vous, comment peut-on empêcher ChatGPT de générer du code malveillant fonctionnel ?
Pensez-vous qu'OpenAI puisse le faire tout en fournissant un outil comme GitHub Copilot ?
Ou l'entreprise doit-elle simplement empêcher son chatbot d'IA de générer du code ?
Voir aussi
Des cybercriminels testent le chatbot ChatGPT pour créer des logiciels malveillants, et ravivent des craintes sur un futur où l'intelligence artificielle pourra surpasser l'humanité
Le chatbot d'IA ChatGPT est capable de lancer des attaques de phishing dangereuses et de concevoir des codes de téléchargement malveillant d'une efficacité redoutable
90% du contenu en ligne pourrait être « généré par l'IA d'ici 2025 », selon une conférencière en IA. « Les choses qui nous émerveillent début 2023 vont sembler pittoresques d'ici la fin de l'année »
Les conservateurs affirment que ChatGPT est devenu "woke" et s'inquiètent à propos de la partialité du chatbot d'OpenAI, ils accusent également le chatbot de défendre les "valeurs de gauche"