La NSA, le FBI et la CISA publient une fiche d'information sur la cybersécurité concernant les menaces liées aux Deepfake
La National Security Agency (NSA), le Federal Bureau of Investigation (FBI) et la Cybersecurity and Infrastructure Security Agency (CISA) ont publié aujourd'hui une fiche d'information sur la cybersécurité, intitulée Contextualizing Deepfake Threats to Organizations, qui donne un aperçu des menaces, des techniques et des tendances liées aux médias synthétiques. Les menaces liées aux médias synthétiques, tels que les deepfakes, ont augmenté de façon exponentielle, ce qui représente un défi croissant pour les utilisateurs de technologies et de communications modernes, notamment les systèmes de sécurité nationale (NSS), le ministère de la défense (DoD), la base industrielle de défense (DIB) et les propriétaires et exploitants d'infrastructures critiques nationales.
Entre 2021 et 2022, les agences du gouvernement américain ont collaboré pour établir un ensemble de meilleures pratiques utilisables pour se préparer et répondre à la menace croissante. Les préoccupations du public concernant les médias synthétiques comprennent les opérations de désinformation, conçues pour influencer le public et diffuser de fausses informations sur des questions politiques, sociales, militaires ou économiques afin de semer la confusion, l'agitation et l'incertitude.
https://youtu.be/XqngoUWHUj0
Résumé
Les menaces liées aux médias synthétiques, tels que les "²"", représentent un défi croissant pour tous les utilisateurs des technologies et des communications modernes, y compris les systèmes de sécurité nationale (NSS), le ministère de la défense (DoD), la base industrielle de défense (DIB) et les propriéta;lres et exploitants d'infrastructures critiques nationales. Comme c'est le cas pour de nombreuses technologies, les techniques de médias synthétiques peuvent être utilisées à des fins positives ou malveillantes. Bien qu'il y ait peu d'indications d'une utilisation significative de ces techniques par des acteurs malveillants parrainés par un État, la disponibilité et l'efficacité croissantes des techniques de médias synthétiques accessibles à des cyberacteurs malveillants moins compétents indiquent que ces types de techniques vont probablement augmenter en fréquence et en sophistication.
Les menaces liées aux médias synthétiques s'étendent aux technologies associées à l'utilisation de textes, de vidéos, de sons et d'images, qui sont utilisés à diverses fins en ligne et dans le cadre de communications de tous types. Les "deepfakes" sont un type de média synthétique particulièrement inquiétant qui utilise l'intelligence artificielle/l'apprentissage machine (IA/ML) pour créer des médias crédibles et très réalistes. [Les menaces les plus importantes liées à l'utilisation abusive de médias synthétiques comprennent des techniques qui menacent la marque d'une organisation, usurpent l'identité de dirigeants et d'agents financiers, et utilisent des communications frauduleuses pour permettre l'accès aux réseaux, aux communications et aux informations sensibles d'une organisation.
Les organisations peuvent prendre diverses mesures pour identifier les menaces de type "deepfake", s'en défendre et y répondre. Elles devraient envisager de mettre en œuvre un certain nombre de technologies pour détecter les deepfakes et déterminer la provenance des médias, y compris des capacités de vérification en temps réel, des techniques de détection passive et la protection des agents hautement prioritaires et de leurs communications. [Les organisations peuvent également prendre des mesures pour minimiser l'impact des techniques malveillantes de "deepfake", notamment le partage d'informations, la planification et la répétition des réponses aux tentatives d'exploitation, et la formation du personnel.
En particulier, le phishing à l'aide de deepfakes sera un défi encore plus difficile à relever qu'il ne l'est aujourd'hui, et les organisations devraient se préparer de manière proactive à l'identifier et à le contrer. Plusieurs consortiums publics et privés offrent également aux organisations la possibilité de s'impliquer dans le renforcement de la résilience face aux menaces des deepfakes, notamment la Coalition for Content Provenance and Authenticity et le Project Origin.
Cette fiche d'information sur la cybersécurité, rédigée par la National Security Agency (NSA), le Federal Bureau of Investigation (FBI) et la Cybersecurity and Infrastructure Security Agency (CISA), donne un aperçu des menaces, des techniques et des tendances liées aux médias synthétiques. Il propose également des recommandations aux professionnels de la sécurité qui s'efforcent de protéger les organisations contre ces menaces en constante évolution, en les conseillant sur les stratégies de défense et d'atténuation.
Menaces liées aux médias synthétiques
Les outils et les techniques qui peuvent être utilisés pour manipuler des supports multimédias authentiques existent depuis des décennies ; cependant, l'ampleur de l'utilisation de la manipulation des médias s'est considérablement accrue à mesure que la complexité de l'exploitation des supports manipulés a diminué. La fabrication d'un faux sophistiqué à l'aide d'un logiciel spécialisé pouvait auparavant prendre des jours ou des semaines à un professionnel, mais aujourd'hui, ces faux peuvent être produits en une fraction du temps avec une expertise technique limitée, voire inexistante. Cela est dû en grande partie aux progrès de la puissance de calcul et de l'apprentissage profond, qui rendent non seulement plus facile la création de faux multimédias, mais aussi moins coûteuse leur production en masse. En outre, le marché est aujourd'hui inondé d'outils gratuits et facilement accessibles (dont certains sont alimentés par des algorithmes d'apprentissage profond) qui rendent la création ou la manipulation de contenus multimédias essentiellement " plug-and-play ". En conséquence, ces techniques accessibles au public ont pris de la valeur et sont devenues des outils largement disponibles pour les adversaires de tous types, permettant à la fraude et à la désinformation d'exploiter les personnes et les organisations ciblées. La démocratisation de ces outils figure sur la liste des principaux risques pour 2023.
Outre les implications évidentes pour la désinformation et la propagande en période de conflit, les défis de sécurité nationale associés aux deepfakes se manifestent par des menaces pour le gouvernement américain, le NSS, la DIB, les organisations d'infrastructures critiques et d'autres. Les organisations et leurs employés peuvent être vulnérables aux techniques et au savoir-faire des deepfakes, qui peuvent inclure de faux comptes en ligne utilisés dans des tentatives d'ingénierie sociale, des messages textuels et vocaux frauduleux utilisés pour éviter les défenses techniques, des vidéos truquées utilisées pour diffuser de la désinformation, et d'autres techniques. De nombreuses organisations sont des cibles attrayantes pour les acteurs avancés et les criminels intéressés par l'usurpation de l'identité d'un dirigeant, la fraude financière et l'accès illégitime aux communications et opérations internes.
Définition du problème
Plusieurs termes sont utilisés pour décrire les médias générés et/ou manipulés de manière synthétique. Parmi les plus courants, on peut citer
Falsifications superficielles ou bon marché : Les supports multimédias qui ont été manipulés à l'aide de techniques qui ne font pas appel à l'apprentissage automatique/apprentissage en profondeur et qui, dans de nombreux cas, peuvent être aussi efficaces que les techniques les plus sophistiquées, sont souvent appelés "faux superficiels" ou "faux bon marché". Ces faux sont souvent générés par la manipulation d'un message original véhiculé dans un média réel.
644554
Voici quelques exemples explicites :
- Le copier-coller sélectif du contenu d'une scène originale afin de supprimer un objet dans une image et de modifier ainsi l'histoire. Il existe de nombreux exemples de ce type dans l'histoire, notamment lorsque Josef Staline a supprimé un individu d'une image après qu'ils soient devenus ennemis.
- Le ralentissement d'une vidéo par l'ajout d'images répétées pour donner l'impression qu'une personne est en état d'ébriété.
- La combinaison de clips audio provenant d'une source différente et le remplacement de l'audio sur une vidéo pour modifier l'histoire.
- L'utilisation d'un faux texte pour faire avancer un récit et provoquer des pertes financières et d'autres conséquences.
Deepfakes : Les multimédias qui ont été créés (entièrement synthétiques) ou édités (partiellement synthétiques) à l'aide d'une forme d'apprentissage automatique/profond (intelligence artificielle) sont appelés "deepfakes".
644555
Voici quelques exemples explicites :
- LinkedIn a connu une augmentation considérable des images de deepfake pour les photos de profil en 2022.
- Une scène générée par l'IA qui est le produit d'une hallucination de l'IA - des informations inventées qui peuvent sembler plausibles mais qui ne sont pas vraies - qui représente une explosion près du Pentagone a été partagée sur l'internet en mai 2023, provoquant une confusion générale et des turbulences sur le marché boursier.
- Une vidéo deepfake a montré le président ukrainien Volodomyr Zelenskyy disant à son pays de se rendre à la Russie. Plus récemment, plusieurs chaînes de télévision et stations de radio russes ont été piratées et une supposée deepfake vidéo du président russe Vladimir Poutine a été diffusée, affirmant qu'il promulguait la loi martiale en raison de l'invasion de la Russie par les Ukrainiens.
644556
- Un autre exemple de technologie développée dans le domaine de la vidéo est celui des modèles de diffusion texte-vidéo, qui sont des vidéos entièrement synthétiques développées par l'IA.
- En 2019, un faux audio a été utilisé pour voler 243 000 dollars à une entreprise britannique et, plus récemment, on a constaté une augmentation massive des escroqueries personnalisées à l'IA, compte tenu de la publication de modèles de clonage de voix sophistiqués et hautement entraînés à l'IA.
- Les grands modèles de langage (LLM), librement accessibles, sont désormais utilisés pour générer le texte des courriels d'hameçonnage.
IA générative : en 2023, l'IA générative gagnera en popularité pour de nombreuses capacités de production de médias synthétiques. L'IA générative (techniques d'apprentissage automatique), telle que les réseaux adversaires génératifs, les modèles de diffusion et les grands modèles de langage (ou une combinaison de ces derniers), sont les machines qui permettent la production de multimédias synthétiques très réalistes basés sur des ensembles de données beaucoup plus importants.
644558
Imagerie générée par ordinateur (CGI) : L'imagerie générée par ordinateur (CGI) est l'utilisation de l'infographie pour créer ou améliorer les médias visuels (images et vidéos). Traditionnellement, ces méthodes ont constitué l'effet visuel de référence pour la plupart des grands films, mais maintenant que les techniques d'IA générative s'améliorent, elles sont de plus en plus nombreuses.
644559
Mais maintenant que les techniques d'IA générative s'améliorent et deviennent moins chères, la fusion de ces deux technologies est utilisée pour produire des faux encore plus convaincants.
Détection et authentification
Depuis plusieurs années, des organisations publiques et privées se disent préoccupées par les manipulations multimédias et développent des moyens de détection et d'identification des contre-mesures. De nombreux partenariats publics et privés ont vu le jour depuis, se concentrant sur les efforts de coopération pour détecter ces manipulations et vérifier/authentifier le multimédia. Il existe de nombreuses différences entre les efforts de détection et d'authentification, car leurs objectifs sont différents. La plus importante d'entre elles est que les méthodes de détection sont souvent des techniques judiciaires passives, alors que les méthodes d'authentification sont des techniques judiciaires actives qui sont délibérément intégrées au moment de la capture ou de l'édition du média en question.
Les efforts de détection se concentrent généralement sur le développement de méthodes qui recherchent des preuves de manipulation et présentent ces preuves sous la forme d'un résultat numérique ou d'une visualisation afin d'alerter un analyste sur le fait que le média nécessite une analyse plus approfondie. Ces méthodes sont élaborées en partant du principe que les modifications apportées aux supports originaux ou aux supports entièrement synthétiques contiennent des traces statistiquement significatives qui peuvent être trouvées. Cette forme de détection est un jeu du chat et de la souris ; lorsque des méthodes de détection sont mises au point et rendues publiques, la communauté de la génération réagit souvent rapidement pour les contrer. Toutefois, en attendant l'adoption universelle de normes d'authentification, ces méthodes sont nécessaires pour soutenir l'analyse médico-légale.
Les méthodes d'authentification sont conçues pour être intégrées au moment de la capture/création ou de l'édition afin de rendre transparente la provenance du média. Parmi les exemples, on peut citer le filigrane numérique qui peut être utilisé dans les médias générés synthétiquement, les signaux actifs lors de la capture en temps réel pour vérifier l'authenticité et le hachage cryptographique des actifs sur un appareil.
Parmi les efforts en cours dans le domaine de la détection et de l'authentification, on peut citer plusieurs initiatives de collaboration publiques/privées, telles que :
- Le programme DARPA Semantic Forensics développe actuellement des capacités sémantiques avancées pour la criminalistique et l'authentification des médias. Les participants au programme sont NVIDIA, PAR Government Systems, SRI International et plusieurs instituts de recherche.
- Le laboratoire de recherche de l'armée de l'air (AFRL) a récemment attribué un contrat à la petite entreprise DeepMedia pour le développement de capacités de détection des faux contenus (deepfake).
- Plusieurs entreprises, dont Microsoft, Intel et Google, ont mis au point des outils de détection de deepfake.
- Avant les élections de 2020, Microsoft a introduit le Microsoft Video Authenticator et, en 2023, a déployé l'outil "About this Image" (À propos de cette image) pour obtenir plus de contexte sur l'authenticité des images qu'ils peuvent recevoir.
- Intel a introduit fin 2022 un détecteur de faux en profondeur en temps réel, appelé FakeCatcher, qui détecte les fausses vidéos.
- Google, en collaboration avec des chercheurs universitaires en Europe, a fourni un vaste ensemble de données de deepfakes visuels au FaceForensics Benchmark en 2019.
L'impact des deepfakes sur les organisations
L'inquiétude du public à l'égard des médias synthétiques porte notamment sur leur utilisation dans le cadre d'opérations de désinformation, conçues pour influencer le public et diffuser de fausses informations sur des questions politiques, sociales, militaires ou économiques afin de semer la confusion, l'agitation et l'incertitude. Toutefois, les menaces liées aux médias synthétiques auxquelles les organisations sont le plus souvent confrontées sont des activités susceptibles de porter atteinte à la marque, à la situation financière, à la sécurité ou à l'intégrité de l'organisation elle-même. Les menaces médiatiques synthétiques les plus importantes pour le DoD, le NSS, le DIB et les organisations d'infrastructures critiques, sur la base de l'impact et du risque potentiels, sont notamment les suivantes :
Tendances émergentes dans le domaine des deepfakes et de l'IA générative
Les tendances dynamiques en matière de développement technologique associées à la création de médias synthétiques continueront à faire baisser les coûts et les obstacles techniques à l'utilisation de cette technologie à des fins malveillantes. D'ici 2030, le marché de l'IA générative devrait dépasser les 100 milliards de dollars, avec un taux de croissance de plus de 35 % par an en moyenne. Toutefois, si les capacités dont disposent les acteurs malveillants vont considérablement augmenter, les technologies et les techniques à la disposition des défenseurs qui cherchent à identifier et à limiter les deepfakes vont également s'améliorer de manière substantielle. Un exemple annoncé fin 2022, GPTZero, est un programme conçu pour identifier les textes générés par ordinateur, y compris ChatGPT, LaMDa de Google et d'autres modèles d'IA, qui a déjà recueilli plus d'un million d'utilisateurs. Toutefois, les détecteurs de contenu généré par l'IA peuvent souffrir de faux positifs, c'est-à-dire qu'ils identifient un contenu écrit par un humain comme étant également généré par l'IA. On s'attend à une escalade technologique dans les technologies et les capacités des médias synthétiques afin de détecter les contenus générés par l'IA et d'authentifier les contenus légitimes.
Les principales tendances en matière de génération de médias comprennent l'utilisation accrue et l'amélioration des modèles multimodaux, tels que la fusion des LLM et des modèles de diffusion ; l'amélioration de la capacité à transformer une image 2D en 3D pour permettre la génération réaliste de vidéos à partir d'une seule image ; des méthodes plus rapides et ajustables pour la génération de vidéos modifiées en temps réel ; et des modèles qui nécessitent moins de données d'entrée pour personnaliser les résultats, tels que l'audio synthétique qui capture les caractéristiques d'un individu avec seulement quelques secondes de données de référence.Toutes ces tendances indiquent qu'il existe des moyens plus efficaces, plus rapides et moins coûteux de générer des contenus falsifiés.
Les principales tendances en matière de détection et d'authentification sont l'éducation, l'affinement de la détection et une pression accrue de la part de la communauté pour utiliser des techniques d'authentification pour les médias. À terme, ces tendances pourraient déboucher sur des politiques qui nécessiteront certains changements. Pour l'instant, des efforts tels que les initiatives publiques/privées de détection et d'authentification mentionnées dans le présent rapport et les considérations éthiques préalables à la diffusion de modèles aideront les organisations à prendre des mesures proactives en vue d'une plus grande transparence de la provenance des contenus.
Recommandations pour résister aux deepfakes
Les organisations peuvent prendre diverses mesures pour se préparer à identifier les menaces liées aux deepfakes, à s'en défendre et à y répondre. Des experts en médias synthétiques de plusieurs agences du
ont collaboré entre 2021 et 2022 pour examiner ces menaces et établir une liste recommandée de meilleures pratiques à employer pour se préparer et réagir aux deepfakes. [Une autre bonne référence pour les meilleures pratiques et la compréhension des politiques qui peuvent être mises en œuvre du point de vue de l'entreprise se trouve sur le blog Blue Sky de Columbia Law. Plusieurs de ces recommandations sont décrites ci-dessous et examinées plus en détail.
1. Sélectionner et mettre en œuvre des technologies permettant de détecter les deepfakes et de démontrer la provenance des médias :
Capacités et procédures de vérification en temps réel : Les organisations doivent mettre en œuvre une vérification de l'identité capable de fonctionner pendant les communications en temps réel. La vérification de l'identité pour les communications en temps réel nécessitera désormais des tests de présence, compte tenu des améliorations rapides de l'IA générative et du rendu en temps réel. L'authentification multifactorielle (AMF) obligatoire, utilisant un mot de passe ou un code PIN unique ou généré une seule fois, des détails personnels connus ou des données biométriques, peut garantir que les personnes accédant à des canaux de communication ou à des activités sensibles sont en mesure de prouver leur identité. Ces étapes de vérification sont particulièrement importantes lorsqu'il s'agit de procédures d'exécution de transactions financières.
Recommandations de base :
Recherchez les propriétés physiques qui ne seraient pas possibles, comme des pieds qui ne touchent pas le sol.
Recherchez la présence de filtres audio, tels que des bruits ajoutés pour brouiller les pistes.
Recherchez les incohérences.
Tous les métadonnées intactes sont une indication d'authenticité.
Quelques métadonnées supprimées indiquent que le média a été potentiellement manipulé, mais qu'une enquête plus approfondie est nécessaire.
Tous les métadonnées supprimées peuvent indiquer que le média a été obtenu par le biais d'une plateforme de médias sociaux ou d'un autre processus qui supprime automatiquement les informations.
Recommandations avancées :
2. Protéger les données publiques des personnes hautement prioritaires.
Afin de protéger les médias contenant la personne contre l'utilisation ou la réaffectation à des fins de désinformation, il convient d'envisager de commencer à utiliser des techniques d'authentification active telles que les filigranes et/ou les normes CAI. Il s'agit d'une bonne mesure préventive pour protéger les médias et faire en sorte qu'il soit plus difficile pour un adversaire de prétendre qu'un faux média représentant la personne dans ces situations contrôlées est réel. Se préparer à minimiser l'impact des "deepfakes" et en tirer parti.
Une fois le plan établi, il convient d'effectuer plusieurs exercices sur table afin de s'entraîner et d'analyser l'exécution du plan. Ces exercices doivent impliquer les cibles les plus probables des deepfakes et inclure les dirigeants qui peuvent être des cibles privilégiées.
Des ressources de formation spécifiques aux deepfakes sont déjà disponibles auprès des sources suivantes : SANS Institute - "Learn a New Survival Skill : Spotting Deepfakes "; MIT Media Lab - "Detect DeepFakes : Comment contrer les informations créées par l'IA" et MIT Media Literacy ; et Microsoft - "Spot the Deepfake".
En 2023, la CAI regroupait plus de 1 000 entreprises privées dans les domaines de la technologie, des médias, des éditeurs de presse, des chercheurs et des ONG. La CAI propose plusieurs outils open source gratuits pour mettre en œuvre la provenance des médias, un bulletin d'information régulier et un canal communautaire sur Discord.
Le projet Origin, un effort interprofessionnel impliquant Microsoft et plusieurs grands producteurs de médias, vise à établir de la même manière une chaîne de provenance des contenus par le biais de signatures sécurisées et d'extensions de navigateur web. Des informations techniques sont disponibles sur leur site web à l'adresse originproject.info.
Source : CISA
Et vous ?
:fleche: Quel est votre avis ces recommandations ?
Voir aussi :
:fleche: Le nombre de contenus deepfake en ligne augmente à un rythme annuel de 900 % d'après le World Economic Forum
:fleche: Les développeurs et les responsables de la sécurité des applications se tournent vers l'IA générative malgré les risques de sécurité identifiés, selon une étude de Sonatype
:fleche: FakeCatcher, le détecteur de "deepfake" d'Intel, a été testé sur de vraies et de fausses vidéos par la BBC
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.