L'année dernière a été marquée par des avancées révolutionnaires dans le domaine de l'intelligence artificielle générative, ou IA générative. Peu de temps après leur lancement, ces plateformes ont gagné en popularité, ChatGPT atteignant son premier million d'utilisateurs en seulement cinq jours. La mauvaise nouvelle, en particulier pour ceux qui travaillent dans le domaine de la sécurité de l'information, est que l'accessibilité de l'IA générative a également créé des opportunités pour les cybercriminels d'exploiter la technologie pour créer des cyber-menaces sophistiquées, souvent avec le courrier électronique comme premier vecteur d'attaque.Pour illustrer la façon dont l'IA devient une arme, des exemples concrets de courriels malveillants générés par l'IA reçus par les clients d'Abnormal au cours de l'année écoulée ont été rassemblés. Ces exemples mènent à une conclusion surprenante : les acteurs de la menace ont clairement adopté l'utilisation malveillante de l'IA. Cela signifie également que les organisations doivent réagir en mettant en œuvre des solutions de cybersécurité basées sur l'IA pour stopper ces attaques avant qu'elles n'atteignent les boîtes de réception des employés.
Comment et pourquoi l'IA est utilisée pour les attaques par courrier électronique
Auparavant, de nombreux cybercriminels s'appuyaient sur des formats ou des modèles pour lancer leurs campagnes. De ce fait, un grand nombre d'attaques partagent des indicateurs de compromission communs qui peuvent être détectés par les logiciels de sécurité traditionnels, car ils utilisent le même nom de domaine ou le même lien malveillant. L'IA générative, en revanche, permet aux escrocs de créer un contenu unique en quelques millisecondes, ce qui rend infiniment plus difficile la détection qui repose sur la correspondance avec des chaînes de texte malveillantes connues.
L'IA générative peut également être utilisée pour augmenter de manière significative la sophistication globale des attaques d'ingénierie sociale et d'autres menaces par courrier électronique. Par exemple, de mauvais acteurs peuvent abuser de l'API ChatGPT pour créer des courriels de phishing réalistes, des logiciels malveillants polymorphes et des demandes de paiement frauduleuses convaincantes. Et même si Open AI a imposé des limites à ce que ChatGPT peut produire, les cybercriminels ont réagi en créant leurs propres formes malveillantes d'IA générative. Par exemple, WormGPT n'a pas les garde-fous des outils open source qui empêchent les mauvais acteurs de les utiliser de manière contraire à l'éthique. De même, FraudGPT est une plateforme sur abonnement qui utilise des algorithmes d'apprentissage automatique raffinés pour générer du contenu trompeur.
Attaques réelles (probablement) générées par l'IA
Au cours de l'année écoulée, Abnormal a détecté un certain nombre d'attaques probablement générées par l'IA. Comme pour tous les modèles d'IA, il est pratiquement impossible de déterminer avec une certitude absolue si une attaque a été créée par l'IA. Cependant, certains outils tels que CheckGPT fournissent de fortes indications sur l'implication de l'IA. Vous trouverez ci-dessous plusieurs exemples d'attaques détectées par Abnormal, ainsi que d'autres exemples dans le dernier rapport de recherche.
L'attaquant se fait passer pour une compagnie d'assurance pour tenter de diffuser un logiciel malveillant
Dans cette attaque, l'auteur de la menace se fait passer pour un représentant d'une compagnie d'assurance et informe le destinataire que l'e-mail contient en pièce jointe des informations sur les prestations, ainsi qu'un formulaire d'inscription qui doit être rempli dans son intégralité et renvoyé. Si le destinataire ne le fait pas, il est informé qu'il risque de perdre sa couverture.
L'auteur utilise un nom d'affichage apparemment authentique ("Customer Benefits Insurance Group"
et un courriel d'expéditeur ("alerts@pssalerts[.]info", mais les réponses sont redirigées vers un compte Gmail contrôlé par l'auteur de l'attaque. Malgré une façade professionnelle, la plateforme d'Abnormal a déterminé que la pièce jointe contenait probablement des logiciels malveillants, exposant l'ordinateur du destinataire à des risques de virus et de vol de données d'identification.L'analyse de l'attaque, réalisée par Giant Language Model Test Room (GLTR), montre la probabilité qu'elle soit générée par l'IA. Les modèles codent les mots par couleur en fonction de la probabilité de prédiction de chaque mot compte tenu du contexte à gauche. Le vert indique qu'un mot fait partie des 10 premiers mots prédits, tandis que le jaune indique un mot parmi les 100 premiers mots prédits. Les mots en rouge sont classés parmi les 1 000 premiers mots prédits, tandis que tous les autres mots sont en violet.
Comme vous pouvez le constater, la majeure partie du texte est surlignée en vert, ce qui indique qu'il a probablement été généré par l'IA plutôt que créé par un humain. Vous remarquerez également qu'il n'y a pas de fautes de frappe ou de grammaire, des signes qui, historiquement, ont toujours été révélateurs d'une attaque.
Un usurpateur de l'identité de Netflix compromet un domaine légitime dans le cadre d'une attaque par hameçonnage d'informations d'identification
Dans cette attaque de phishing, l'auteur de la menace se fait passer pour un représentant du service clientèle de Netflix et prétend que l'abonnement de la cible arrive à expiration. Pour continuer à bénéficier du service, le destinataire est informé qu'il doit renouveler son abonnement en utilisant le lien fourni. Cependant, l'URL mène à un site malveillant où les informations sensibles sont en danger.
L'attaquant utilise l'ingénierie sociale pour créer un sentiment d'urgence. Il ajoute également de la sophistication à l'escroquerie en utilisant ce qui semble être un domaine d'assistance authentique associé à Teeela, une application d'achat de jouets en ligne. L'utilisation d'un courriel hébergé sur Zendesk, une plateforme d'assistance à la clientèle de confiance, peut tromper les destinataires et leur faire croire que le courriel est légitime, ce qui augmente l'efficacité de l'attaque.
Là encore, la majeure partie du texte est surlignée en vert, ce qui indique qu'il a probablement été généré par l'IA, plutôt que créé par un humain. Il est intéressant de noter que l'analyse de l'IA a mis en évidence le numéro de téléphone intéressant, alors que le pirate semble avoir omis de mettre à jour le numéro de téléphone pour le remplacer par un numéro légitime.
Un usurpateur de marque de cosmétiques tente une fraude à la facturation
Dans cette tentative de mise à jour de compte de facturation, l'attaquant se fait passer pour un responsable du développement commercial de la société de cosmétiques LYCON et informe le destinataire d'irrégularités dans son bilan, constatées lors d'un audit de mi-année. Il explique qu'en raison d'une panne survenue lors d'une mise à jour du système, il n'a plus accès aux relevés de compte et qu'il doit maintenant demander toutes les factures ouvertes ou en retard. L'auteur de l'attaque conseille également de cesser les paiements sur les comptes précédents et promet de nouvelles coordonnées bancaires pour les transactions futures une fois l'audit terminé.
L'escroquerie vise à extraire des informations financières sensibles et à réacheminer les paiements vers le compte bancaire de l'auteur de l'attaque. Aucun lien ou pièce jointe n'est présent, et l'e-mail est rédigé sur un ton officiel, utilisant plusieurs techniques d'ingénierie sociale pour tromper le destinataire.
Une fois de plus, la majorité du texte est surlignée en vert, ce qui indique qu'il a probablement été généré par l'IA, plutôt que créé par un humain. Il est vrai qu'il y a plus de rouge ici que dans les exemples précédents, probablement parce que cette attaque utilise un langage plus formel que la moyenne.
Stopper les attaques par courriel générées par l'IA
Comme ces courriels sont souvent envoyés par un fournisseur de services de messagerie légitime, qu'ils sont sous forme de texte et qu'ils s'appuient sur l'ingénierie sociale pour inciter le destinataire à agir, il est difficile pour les solutions traditionnelles de sécurité des courriels de les détecter comme des attaques. Ils atterrissent donc dans les boîtes de réception des employés, qui doivent alors prendre la décision d'agir ou non. Et comme l'IA élimine complètement les erreurs grammaticales et les fautes de frappe qui étaient historiquement les signes révélateurs d'une attaque, les humains sont beaucoup plus susceptibles d'en être victimes qu'auparavant.
Bien que l'IA générative ne soit utilisée à grande échelle que depuis un an, il est évident qu'il existe un potentiel d'abus généralisé. Pour les responsables de la sécurité, il s'agit d'un signal d'alarme qui les incite à donner la priorité aux mesures de cybersécurité afin de se prémunir contre ces menaces avant qu'il ne soit trop tard. Les attaques présentées ici sont bien exécutées, mais elles ne sont que le début de ce qui est possible.
Nous avons atteint un point où seule l'IA peut arrêter l'IA, et où la prévention de ces attaques et de leurs équivalents de prochaine génération nécessite l'utilisation de défenses natives de l'IA. Pour garder une longueur d'avance sur les acteurs de la menace, les organisations doivent se tourner vers des plateformes de sécurité de la messagerie électronique qui s'appuient sur les éléments connus plutôt que sur les éléments inconnus. En comprenant l'identité des personnes au sein de l'organisation et leur comportement normal, le contexte des communications et le contenu de l'e-mail, les solutions natives de l'IA peuvent détecter des attaques qui contournent les solutions traditionnelles. En fait, c'est la seule façon d'aller de l'avant - il est encore possible de gagner la course à l'armement de l'IA, mais les responsables de la sécurité doivent agir maintenant pour prévenir ces menaces.
Pour en savoir plus, notamment sur la manière dont Abnormal a stoppé chaque attaque, téléchargez le livre blanc.
Source : "Uncovering AI-Generated Email Attacks: Real-World Examples from 2023" (étude d'Abnormal)
Et vous ?
Quel est votre avis sur le sujet ?Voir aussi
Les nouvelles attaques d'ingénierie sociale augmentent de 135 % grâce à l'IA générative, d'après une nouvelle étude de la société de cybersécurité Darktrace Les trois quarts des organisations sont victimes d'attaques par courrier électronique, d'après une récente étude Les humains écrivent mieux les courriels de phishing que l'IA : les "red teamers" professionnels ont induit un taux de clics de 4,2 %, contre 2,9 % pour le ChatGPT, suite à une étude de Hoxhunt 2,5 % des emails reçus contiennent une cyberattaque, et un quart des emails reçus sont des spams, en 2022, WeTransfer, Sharepoint et Dropbox sont les marques les plus usurpées, selon Mailinblack