La NSA, le FBI et la CISA publient une fiche d'information sur la cybersécurité concernant les menaces liées aux Deepfake

La National Security Agency (NSA), le Federal Bureau of Investigation (FBI) et la Cybersecurity and Infrastructure Security Agency (CISA) ont publié aujourd'hui une fiche d'information sur la cybersécurité, intitulée Contextualizing Deepfake Threats to Organizations, qui donne un aperçu des menaces, des techniques et des tendances liées aux médias synthétiques. Les menaces liées aux médias synthétiques, tels que les deepfakes, ont augmenté de façon exponentielle, ce qui représente un défi croissant pour les utilisateurs de technologies et de communications modernes, notamment les systèmes de sécurité nationale (NSS), le ministère de la défense (DoD), la base industrielle de défense (DIB) et les propriétaires et exploitants d'infrastructures critiques nationales.

Entre 2021 et 2022, les agences du gouvernement américain ont collaboré pour établir un ensemble de meilleures pratiques utilisables pour se préparer et répondre à la menace croissante. Les préoccupations du public concernant les médias synthétiques comprennent les opérations de désinformation, conçues pour influencer le public et diffuser de fausses informations sur des questions politiques, sociales, militaires ou économiques afin de semer la confusion, l'agitation et l'incertitude.


Résumé

Les menaces liées aux médias synthétiques, tels que les "²"", représentent un défi croissant pour tous les utilisateurs des technologies et des communications modernes, y compris les systèmes de sécurité nationale (NSS), le ministère de la défense (DoD), la base industrielle de défense (DIB) et les propriéta;lres et exploitants d'infrastructures critiques nationales. Comme c'est le cas pour de nombreuses technologies, les techniques de médias synthétiques peuvent être utilisées à des fins positives ou malveillantes. Bien qu'il y ait peu d'indications d'une utilisation significative de ces techniques par des acteurs malveillants parrainés par un État, la disponibilité et l'efficacité croissantes des techniques de médias synthétiques accessibles à des cyberacteurs malveillants moins compétents indiquent que ces types de techniques vont probablement augmenter en fréquence et en sophistication.

Les menaces liées aux médias synthétiques s'étendent aux technologies associées à l'utilisation de textes, de vidéos, de sons et d'images, qui sont utilisés à diverses fins en ligne et dans le cadre de communications de tous types. Les "deepfakes" sont un type de média synthétique particulièrement inquiétant qui utilise l'intelligence artificielle/l'apprentissage machine (IA/ML) pour créer des médias crédibles et très réalistes. [Les menaces les plus importantes liées à l'utilisation abusive de médias synthétiques comprennent des techniques qui menacent la marque d'une organisation, usurpent l'identité de dirigeants et d'agents financiers, et utilisent des communications frauduleuses pour permettre l'accès aux réseaux, aux communications et aux informations sensibles d'une organisation.

Les organisations peuvent prendre diverses mesures pour identifier les menaces de type "deepfake", s'en défendre et y répondre. Elles devraient envisager de mettre en œuvre un certain nombre de technologies pour détecter les deepfakes et déterminer la provenance des médias, y compris des capacités de vérification en temps réel, des techniques de détection passive et la protection des agents hautement prioritaires et de leurs communications[2]. [Les organisations peuvent également prendre des mesures pour minimiser l'impact des techniques malveillantes de "deepfake", notamment le partage d'informations, la planification et la répétition des réponses aux tentatives d'exploitation, et la formation du personnel.

En particulier, le phishing à l'aide de deepfakes sera un défi encore plus difficile à relever qu'il ne l'est aujourd'hui, et les organisations devraient se préparer de manière proactive à l'identifier et à le contrer. Plusieurs consortiums publics et privés offrent également aux organisations la possibilité de s'impliquer dans le renforcement de la résilience face aux menaces des deepfakes, notamment la Coalition for Content Provenance and Authenticity et le Project Origin.

Cette fiche d'information sur la cybersécurité, rédigée par la National Security Agency (NSA), le Federal Bureau of Investigation (FBI) et la Cybersecurity and Infrastructure Security Agency (CISA), donne un aperçu des menaces, des techniques et des tendances liées aux médias synthétiques. Il propose également des recommandations aux professionnels de la sécurité qui s'efforcent de protéger les organisations contre ces menaces en constante évolution, en les conseillant sur les stratégies de défense et d'atténuation.

Menaces liées aux médias synthétiques

Les outils et les techniques qui peuvent être utilisés pour manipuler des supports multimédias authentiques existent depuis des décennies ; cependant, l'ampleur de l'utilisation de la manipulation des médias s'est considérablement accrue à mesure que la complexité de l'exploitation des supports manipulés a diminué. La fabrication d'un faux sophistiqué à l'aide d'un logiciel spécialisé pouvait auparavant prendre des jours ou des semaines à un professionnel, mais aujourd'hui, ces faux peuvent être produits en une fraction du temps avec une expertise technique limitée, voire inexistante. Cela est dû en grande partie aux progrès de la puissance de calcul et de l'apprentissage profond, qui rendent non seulement plus facile la création de faux multimédias, mais aussi moins coûteuse leur production en masse. En outre, le marché est aujourd'hui inondé d'outils gratuits et facilement accessibles (dont certains sont alimentés par des algorithmes d'apprentissage profond) qui rendent la création ou la manipulation de contenus multimédias essentiellement " plug-and-play ". En conséquence, ces techniques accessibles au public ont pris de la valeur et sont devenues des outils largement disponibles pour les adversaires de tous types, permettant à la fraude et à la désinformation d'exploiter les personnes et les organisations ciblées. La démocratisation de ces outils figure sur la liste des principaux risques pour 2023.

Outre les implications évidentes pour la désinformation et la propagande en période de conflit, les défis de sécurité nationale associés aux deepfakes se manifestent par des menaces pour le gouvernement américain, le NSS, la DIB, les organisations d'infrastructures critiques et d'autres. Les organisations et leurs employés peuvent être vulnérables aux techniques et au savoir-faire des deepfakes, qui peuvent inclure de faux comptes en ligne utilisés dans des tentatives d'ingénierie sociale, des messages textuels et vocaux frauduleux utilisés pour éviter les défenses techniques, des vidéos truquées utilisées pour diffuser de la désinformation, et d'autres techniques. De nombreuses organisations sont des cibles attrayantes pour les acteurs avancés et les criminels intéressés par l'usurpation de l'identité d'un dirigeant, la fraude financière et l'accès illégitime aux communications et opérations internes.

Définition du problème

Plusieurs termes sont utilisés pour décrire les médias générés et/ou manipulés de manière synthétique. Parmi les plus courants, on peut citer

Falsifications superficielles ou bon marché : Les supports multimédias qui ont été manipulés à l'aide de techniques qui ne font pas appel à l'apprentissage automatique/apprentissage en profondeur et qui, dans de nombreux cas, peuvent être aussi efficaces que les techniques les plus sophistiquées, sont souvent appelés "faux superficiels" ou "faux bon marché". Ces faux sont souvent générés par la manipulation d'un message original véhiculé dans un média réel.


Voici quelques exemples explicites :

• Le copier-coller sélectif du contenu d'une scène originale afin de supprimer un objet dans une image et de modifier ainsi l'histoire. Il existe de nombreux exemples de ce type dans l'histoire, notamment lorsque Josef Staline a supprimé un individu d'une image après qu'ils soient devenus ennemis.
• Le ralentissement d'une vidéo par l'ajout d'images répétées pour donner l'impression qu'une personne est en état d'ébriété.
• La combinaison de clips audio provenant d'une source différente et le remplacement de l'audio sur une vidéo pour modifier l'histoire.
• L'utilisation d'un faux texte pour faire avancer un récit et provoquer des pertes financières et d'autres conséquences.
  

Deepfakes : Les multimédias qui ont été créés (entièrement synthétiques) ou édités (partiellement synthétiques) à l'aide d'une forme d'apprentissage automatique/profond (intelligence artificielle) sont appelés "deepfakes".


Voici quelques exemples explicites :

• LinkedIn a connu une augmentation considérable des images de deepfake pour les photos de profil en 2022.
• Une scène générée par l'IA qui est le produit d'une hallucination de l'IA - des informations inventées qui peuvent sembler plausibles mais qui ne sont pas vraies - qui représente une explosion près du Pentagone a été partagée sur l'internet en mai 2023, provoquant une confusion générale et des turbulences sur le marché boursier.
• Une vidéo deepfake a montré le président ukrainien Volodomyr Zelenskyy disant à son pays de se rendre à la Russie. Plus récemment, plusieurs chaînes de télévision et stations de radio russes ont été piratées et une supposée deepfake vidéo du président russe Vladimir Poutine a été diffusée, affirmant qu'il promulguait la loi martiale en raison de l'invasion de la Russie par les Ukrainiens.
  
  
  
• Un autre exemple de technologie développée dans le domaine de la vidéo est celui des modèles de diffusion texte-vidéo, qui sont des vidéos entièrement synthétiques développées par l'IA.
• En 2019, un faux audio a été utilisé pour voler 243 000 dollars à une entreprise britannique et, plus récemment, on a constaté une augmentation massive des escroqueries personnalisées à l'IA, compte tenu de la publication de modèles de clonage de voix sophistiqués et hautement entraînés à l'IA.
• Les grands modèles de langage (LLM), librement accessibles, sont désormais utilisés pour générer le texte des courriels d'hameçonnage.
  

IA générative : en 2023, l'IA générative gagnera en popularité pour de nombreuses capacités de production de médias synthétiques. L'IA générative (techniques d'apprentissage automatique), telle que les réseaux adversaires génératifs, les modèles de diffusion et les grands modèles de langage (ou une combinaison de ces derniers), sont les machines qui permettent la production de multimédias synthétiques très réalistes basés sur des ensembles de données beaucoup plus importants.


Imagerie générée par ordinateur (CGI) : L'imagerie générée par ordinateur (CGI) est l'utilisation de l'infographie pour créer ou améliorer les médias visuels (images et vidéos). Traditionnellement, ces méthodes ont constitué l'effet visuel de référence pour la plupart des grands films, mais maintenant que les techniques d'IA générative s'améliorent, elles sont de plus en plus nombreuses.


Mais maintenant que les techniques d'IA générative s'améliorent et deviennent moins chères, la fusion de ces deux technologies est utilisée pour produire des faux encore plus convaincants.

Détection et authentification

Depuis plusieurs années, des organisations publiques et privées se disent préoccupées par les manipulations multimédias et développent des moyens de détection et d'identification des contre-mesures. De nombreux partenariats publics et privés ont vu le jour depuis, se concentrant sur les efforts de coopération pour détecter ces manipulations et vérifier/authentifier le multimédia. Il existe de nombreuses différences entre les efforts de détection et d'authentification, car leurs objectifs sont différents. La plus importante d'entre elles est que les méthodes de détection sont souvent des techniques judiciaires passives, alors que les méthodes d'authentification sont des techniques judiciaires actives qui sont délibérément intégrées au moment de la capture ou de l'édition du média en question.

Les efforts de détection se concentrent généralement sur le développement de méthodes qui recherchent des preuves de manipulation et présentent ces preuves sous la forme d'un résultat numérique ou d'une visualisation afin d'alerter un analyste sur le fait que le média nécessite une analyse plus approfondie. Ces méthodes sont élaborées en partant du principe que les modifications apportées aux supports originaux ou aux supports entièrement synthétiques contiennent des traces statistiquement significatives qui peuvent être trouvées. Cette forme de détection est un jeu du chat et de la souris ; lorsque des méthodes de détection sont mises au point et rendues publiques, la communauté de la génération réagit souvent rapidement pour les contrer. Toutefois, en attendant l'adoption universelle de normes d'authentification, ces méthodes sont nécessaires pour soutenir l'analyse médico-légale.

Les méthodes d'authentification sont conçues pour être intégrées au moment de la capture/création ou de l'édition afin de rendre transparente la provenance du média. Parmi les exemples, on peut citer le filigrane numérique qui peut être utilisé dans les médias générés synthétiquement, les signaux actifs lors de la capture en temps réel pour vérifier l'authenticité et le hachage cryptographique des actifs sur un appareil.

Parmi les...