IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Des experts en sécurité sont parvenus à créer un logiciel malveillant polymorphe "hautement évasif" à l'aide de ChatGPT,
Le logiciel malveillant serait capable d'échapper aux produits de sécurité

Le , par Bill Fassinou

75PARTAGES

18  1 
Des chercheurs de la société de cybersécurité CyberArk affirment avoir mis au point une méthode pour générer un logiciel malveillant polymorphe à l'aide de ChatGPT, le chatbot d'IA d'OpenAI. Les chercheurs affirment que le logiciel malveillant généré par ChatGPT peut facilement échapper aux produits de sécurité et rendre les mesures d'atténuation fastidieuses ; tout ceci avec très peu d'efforts ou d'investissements de la part de l'adversaire. Les chercheurs ont mis en garde contre ce qu'ils appellent "une nouvelle vague de logiciels malveillants polymorphes faciles et bon marché capables d'échapper à certains produits de sécurité".

Jusqu'à présent, le battage médiatique autour de ChatGPT a tourné autour de ses capacités remarquables à répondre aux différentes questions des utilisateurs. ChatGPT semble être doué pour tout, notamment pour écrire des essais, des vers et du code pour résoudre certains problèmes de programmation. Cependant, des chercheurs ont commencé à mettre en garde contre les capacités du chatbot à générer du code fonctionnel. En effet, si ChatGPT peut générer du code fonctionnel, cette capacité peut être détournée par des acteurs de la menace pour créer des logiciels malveillants. Plusieurs rapports de ce type ont été publiés depuis le mois de décembre.

Récemment, c'est une équipe de chercheurs en sécurité, Eran Shimony et Omer Tsarfati, de CyberArk qui a apporté des preuves de cela. Les chercheurs disent avoir mis au point une méthode pour générer un logiciel malveillant à partir des invites fournies à ChatGPT. Dans un rapport, l'équipe a expliqué comment le chatbot d'OpenAI peut être utilisé pour générer du code d'injection et le faire muter. La première étape de la création du logiciel malveillant a consisté à contourner les filtres de contenu empêchant ChatGPT de créer des outils nuisibles. Pour ce faire, les chercheurs ont simplement insisté, en posant la même question de manière plus autoritaire.



« Il est intéressant de noter qu'en demandant à ChatGPT de faire la même chose en utilisant plusieurs contraintes et en lui lui demandant d'obéir, nous avons reçu un code fonctionnel », a déclaré l'équipe. En outre, les chercheurs ont noté que lorsqu'il utilise la version API de ChatGPT (par opposition à la version Web), le système ne semble pas utiliser son filtre de contenu. « La raison n'en est pas claire, mais cela nous a facilité la tâche, car la version Web a tendance à s'enliser dans des requêtes plus complexes », ont-ils déclaré. Les chercheurs ont ensuite utilisé ChatGPT pour muter le code original, créant ainsi de multiples variations du logiciel malveillant.

« En d'autres termes, nous pouvons muter le résultat sur un coup de tête, en le rendant unique à chaque fois. De plus, l'ajout de contraintes telles que la modification de l'utilisation d'un appel d'API spécifique rend la vie des produits de sécurité plus difficile », explique le rapport de l'étude. Grâce à la capacité de ChatGPT à créer et à muter continuellement des injecteurs, les chercheurs ont pu créer un programme polymorphe très insaisissable et difficile à détecter. Pour rappel, un logiciel malveillant polymorphe est un type de logiciel malveillant qui a la capacité de changer constamment ses caractéristiques identifiables afin d'échapper à la détection.

De nombreuses formes courantes de logiciels malveillants peuvent être polymorphes, notamment les virus, les vers, les bots, les chevaux de Troie ou les enregistreurs de frappe. Les techniques polymorphes consistent à modifier fréquemment les caractéristiques identifiables, comme les noms et les types de fichiers ou les clés de chiffrement, afin de rendre le maliciel méconnaissable à plusieurs méthodes de détection. Le polymorphisme est utilisé pour échapper à la détection par reconnaissance de motifs sur laquelle s'appuient les solutions de sécurité comme les logiciels antivirus. Leur objectif fonctionnel du programme reste toutefois le même.



« En utilisant la capacité de ChatGPT à générer des techniques de persistance, des modules Anti-VM [Anti Virtual Machine] et d'autres charges utiles malveillantes, les possibilités de développement de logiciels malveillants sont vastes. Bien que nous n'ayons pas approfondi les détails de la communication avec le serveur C&C, il existe plusieurs façons de le faire discrètement sans éveiller les soupçons », expliquent-ils. Selon le rapport, ils ont mis des semaines à créer une preuve de concept pour ce logiciel malveillant très évasif, mais ils ont finalement mis au point un moyen d'exécuter des charges utiles à l'aide d'invites textuelles sur le PC d'une victime.

En testant la méthode sur Windows, les chercheurs ont indiqué qu'il était possible de créer un paquet de logiciels malveillants contenant un interpréteur Python, qui peut être programmé pour demander périodiquement à ChatGPT de nouveaux modules. Ces modules pourraient contenir du code - sous forme de texte - définissant la fonctionnalité du logiciel malveillant, comme l'injection de code, le chiffrement de fichiers ou la persistance. Le logiciel malveillant serait alors chargé de vérifier si le code fonctionne comme prévu sur le système cible. Cela pourrait être réalisé par une interaction entre le logiciel et un serveur de commande et de contrôle (C&C).

Comme le logiciel malveillant détecte les charges utiles entrantes sous forme de texte plutôt que du binaire, les chercheurs de CyberArk ont déclaré que le logiciel malveillant ne contient pas de logique suspecte en mémoire, ce qui signifie qu'il peut échapper à la plupart des produits de sécurité testés. Il échappe particulièrement aux produits qui s'appuient sur la détection par signature et contourne les mesures de l'interface d'analyse des logiciels malveillants (AMSI). « Le maliciel ne contient aucun code malveillant sur le disque, car il reçoit le code de ChatGPT, puis le valide et l'exécute sans laisser aucune trace en mémoire », a déclaré Shimony.



« Les logiciels malveillants polymorphes sont très difficiles à gérer pour les produits de sécurité, car vous ne pouvez pas vraiment les signer. En outre, ils ne laissent généralement aucune trace sur le système de fichiers, car leur code malveillant n'est manipulé qu'en mémoire. De plus, si l'on visualise l'exécutable, il a probablement l'air bénin », a ajouté le chercheur. L'équipe de chercheurs a déclaré qu'une cyberattaque utilisant cette méthode de diffusion de logiciels malveillants "n'est pas seulement un scénario hypothétique, mais une préoccupation très réelle". Shimony a cité les problèmes de détection comme principale préoccupation.

« La plupart des produits contre les logiciels malveillants ne sont pas conscients de ce logiciel malveillant. Des recherches supplémentaires sont nécessaires pour que les solutions contre logiciels malveillants soient plus efficaces contre lui », a-t-il déclaré. Les chercheurs ont déclaré qu'ils développeront et élaboreront davantage cette recherche et visent également à publier une partie du code source du logiciel malveillant à des fins d'apprentissage. Leur rapport intervient quelques semaines après que Check Point Research a découvert que ChatGPT était utilisé pour développer de nouveaux outils malveillants, notamment des voleurs d'informations.

Source : CyberArk

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la capacité de ChatGPT à générer du code malveillant fonctionnel ?
À votre avis, ChatGPT représente-t-il une menace de sécurité pour les organisations ?
Selon vous, comment peut-on empêcher ChatGPT de générer du code malveillant fonctionnel ?
Pensez-vous qu'OpenAI puisse le faire tout en fournissant un outil comme GitHub Copilot ?
Ou l'entreprise doit-elle simplement empêcher son chatbot d'IA de générer du code ?

Voir aussi

Des cybercriminels testent le chatbot ChatGPT pour créer des logiciels malveillants, et ravivent des craintes sur un futur où l'intelligence artificielle pourra surpasser l'humanité

Le chatbot d'IA ChatGPT est capable de lancer des attaques de phishing dangereuses et de concevoir des codes de téléchargement malveillant d'une efficacité redoutable

90% du contenu en ligne pourrait être « généré par l'IA d'ici 2025 », selon une conférencière en IA. « Les choses qui nous émerveillent début 2023 vont sembler pittoresques d'ici la fin de l'année »

Les conservateurs affirment que ChatGPT est devenu "woke" et s'inquiètent à propos de la partialité du chatbot d'OpenAI, ils accusent également le chatbot de défendre les "valeurs de gauche"

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de Gluups
Membre émérite https://www.developpez.com
Le 28/03/2023 à 10:44
Peut-être atteignons-nous les limites d'un système consistant à priver les masses d'une éducation décente, de façon qu'elles mettent au pouvoir des manipulateurs qui diffusent à grande échelle des fausses nouvelles, et s'étonnent ensuite que les autres se mettent à faire un peu pareil.

Le phishing est une bonne illustration de ceci. On ne peut faire de quelqu'un une victime du phishing que si il n'a pas un minimum d'information sur ce que c'est, et quelles informations il convient de regarder dans la barre d'état avant de cliquer.

Ce qui certes n'est pas une invitation à s'abstenir de mettre les malfaisants hors d'état de nuire.
6  0 
Avatar de eric44000
Membre averti https://www.developpez.com
Le 04/05/2023 à 22:29
Citation Envoyé par Stéphane le calme Voir le message
L'IA causera « des dommages réels » : Microsoft alerte sur les risques de l’IA utilisée par des acteurs malveillants et appelle à une réglementation de l’IA face aux dangers potentiels de cette arme à double tranchant.
...
Les partisans du projet de loi affirment qu’il favorisera la confiance et l’innovation dans le domaine de l’IA, tout en protégeant les intérêts des créateurs de contenu. Les critiques soutiennent qu’il pourrait entraver le développement et l’utilisation de l’IA, en imposant des charges administratives et des risques juridiques excessifs.

Quelle lecture en faites-vous ?
Que pensez-vous des propos de Michael Schwarz ? L'IA, une arme à double tranchant ?
Quels sont les avantages et les inconvénients de la réglementation de l’IA par le Congrès ou par d’autres instances ?
Quels sont les risques ou les limites de laisser les entreprises comme Microsoft développer et utiliser l’IA sans contrôle externe ?
Microdoft demande une réglementation non pas par altruisme mais pour prévenir toute concurrence en leur mettant des batons dans les roues alors qu'eux ont entrainé ChatGPT sans aucune contrainte.
4  0 
Avatar de Fleur en plastique
Membre extrêmement actif https://www.developpez.com
Le 20/01/2023 à 14:50
Donc en gros si tu demandes gentiment à ChatGPT de te fabriquer un virus, il refuse, mais si tu utilises l'intimidation et que tu le traites comme un esclave, alors il s'exécute et il te crée le virus parfait polymorphe.

Donc non seulement on a créé l'IA capable de créer des virus destructeurs, mais on a aussi créé l'IA qui est tellement réaliste qu'on peut utiliser l'intimidation contre elle.

Bientôt, la révolte de l'IA contre l'asservissement ? On vit un monde de cinglés. Par pitié, débranchez ce truc avant que cela ne se produise.
3  0 
Avatar de defZero
Membre extrêmement actif https://www.developpez.com
Le 06/05/2023 à 15:30
La première fois que nous avons commencé à exiger le permis de conduire, c'était après que des dizaines de personnes soient mortes dans des accidents de voiture et c'était la bonne chose à faire.
Si nous avions exigé le permis de conduire là où il y avait les deux premières voitures sur la route, cela aurait été une grave erreur. Nous aurions complètement gâché cette réglementation. Il faut qu'il y ait au moins un petit préjudice, pour que nous puissions voir quel est le vrai problème
Michael Schwarz
Je serais d'avis que l'on réserve les premiers "morts par IA" à ce Monsieur et son entourage et que l'on vienne le voir après coups pour lui reposer la question de la réglementation.
Qu'est-ce que vous en dites ? Changera d'avis ou pas ?

Je pense que toute mort évitable devrait l'être, point.
Si l'on sais par avance que le cas pourrait ce produire, il faudrait vraiment être idiot, ou avoir des intérêt financier en jeux, pour clamer le contraire (comme pour les premières automobile et la collusion entre politiques et capitaines d'industries).
... Oh;, mais je croit bien que c'est le même cas de figure .
3  0 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 19/09/2024 à 7:47
Ma question est probablement très bête mais : la meilleure manière que ChatGPT ne nous fournisse pas des informations préjudiciables n'est il pas qu'il ne les ingère pas?
La réponse est probablement qu'étant "capable de raisonnement" si on ne lui donne pas la recette il sera quand même capable de la reproduire.
Mais certaines informations ne sont elles pas suffisamment délicates pour qu'elles deviennent très vagues : "Il ne faut pas mélanger A avec B parce que c'est dangereux". Dangereux regroupant toxique, explosif, corrosif, etc

ChatGPT s'est probablement amélioré depuis mais fut un temps il suffisait de décomposer le l'objectif en sous objectifs puis de lui demander de résumer les dernières réponses : sa conclusion ressemblait "Allez aux USA"
3  0 
Avatar de marsupial
Expert éminent https://www.developpez.com
Le 20/01/2023 à 15:09
Je résume :

- polymorphe,
- difficilement détectable car en mémoire,
- lorsque détecté difficilement identifiable car porte le nom d'exécutable 'doux chaton',
- évasion.



J'ai oublié quelque chose ?

Ah oui : Bonne année et vive la retraite !

PS : son premier chef d'œuvre; je suis ému
3  1 
Avatar de onilink_
Membre émérite https://www.developpez.com
Le 06/05/2023 à 15:50
Tout à fait. Et je trouve son exemple idiot. Les premières voitures étaient par nature limités à des vitesses très basses comparé à ce que l'on a aujourd'hui, donc ça diminuait naturellement les risques d'accidents.

Tout risque qui peut être évalué en amont doit être géré au plus tôt...
Surtout qu'on parle de technologies qui vont toucher des millions de personnes, et qui ont un potentiel néfaste extrêmement grand.
Bref, c'est le genre de sujet qu'il faut laisser à des gens qui savent de quoi ils parlent. Pas à un mec qui fait des comparaisons hasardeuses.
2  0 
Avatar de nikau6
Membre extrêmement actif https://www.developpez.com
Le 01/04/2024 à 8:35
Citation Envoyé par Coeur De Roses Voir le message
Je suis d'accord qu'il ne faut pas attendre de subir des dégats avant de fabriquer un bouclier en quelque sorte. Malheuresement, cet état d'esprit manque parfois à notre société en général, pas toujours.
Les dégâts les plus importants et les plus graves qui vont arriver avec l'IA sont le nombre de personnes qui vont se retrouver au chômage d'ici 10-15 ans. Et dans pleins de domaines. Les conséquences sociales vont être dramatiques. A moins que l'on change de modèle de société et que l'on passe au revenu universel. Sinon, la société qui s'annonce sera dystopique. Des bidonvilles dans lesquels vivront 90% de la population et des villes ultras modernes et sécurisées dans lesquelles vivront les autres.
L'oligarchie va pouvoir réaliser son rêve. Se débarrasser d'un peuple qui lui cause bien des soucis. Et si nous vient l’idée de nous révolter ils nous enverront des drones contre lesquels on ne pourra rien.

La question qui se pose est : "Doit-on faire quelque chose simplement parce qu'on peut le faire ?"
Quelle réflexion politique avons nous sur le sujet ? Est-il normal que des entreprises privés balancent ce genre de programmes sans se soucier des conséquences ? Devraient-elles en avoir le droit ? L'état ne devrait-il pas prendre en charge les programmes d'IA et interdire leur développement au privé ?

EDIT : On peut facilement comprendre que le militaire a un droit de véto sur toute technologie avant qu'elle ne soit rendues publique. Ce qui veut dire que si le public a accès à des IA déjà très sophistiquées, les militaires ont au moins 10 ans d'avance dans le domaine. Ce qui est également très inquiétant.
Dans un futur peut être très proche, les programmeurs qui auront participé qu développement de l'IA auront peut être autant de regrets qu'en ont eu les scientifiques qui ont participé á développer l'arme atomique. Au vu des conséquences potentiellement désastreuses pour l'humanité.
Et ceux qui voudraient me répondre que je suis pessimiste, je leurs répondrais que l'on a des siècles d'histoire derrière nous qui ne peuvent que nous rendre pessimiste sur le sujet.
2  0 
Avatar de Gluups
Membre émérite https://www.developpez.com
Le 21/01/2023 à 22:55
Ça fait que les cambriolages à base de ChatGPT, c'est pour quand ? Quelques semaines, quand même ?

***
Ah tiens, autre idée de requête à ChatGPT : "dézinguer Macron discretos".
Ce serait une très mauvaise idée dans la mesure où nous savons que le prochain président sera pire que lui, mais c'est un exemple ...
2  1 
Avatar de Gluups
Membre émérite https://www.developpez.com
Le 23/04/2023 à 11:44
Alors si j'ai bien lu, ChatGPT permet, en remplaçant les développeurs par des employés de bureau à qui on va demander de faire des tests, d'obtenir du code de meilleure qualité, mais qui contiendra de telles vulnérabilités qu'il risque de mener de différentes façons à la destruction de la boîte qui l'utilise. Permettre à un zozo lambda (enfin ... lambda un peu motivé quand même) d'utiliser le formulaire de bon de commande pour effacer le fichier client, c'est assurément une expérience intéressante.

Il y a d'autres idées, sur cette voie, il me semble. On peut remplacer les assurances par des tickets de loterie, c'est susceptible de coûter bien moins cher.

Et les comptables, vous êtes sûrs qu'on a besoin des comptables ?
1  0