La startup Reality Defender dévoile un outil de détection des vidéos deepfakes en temps réel. L'outil est disponible via un plug-in pour Zoom et peut faire des prédictions actives pour savoir si les autres participants à un appel vidéo sont réels ou s'il s'agit d'imitations alimentées par l'IA. Même si l'outil est encore en évaluation, cela confirme l'inquiétude autour des vidéos deepfakes. Des rapports confirment que les escroqueries par l'IA sur les vidéos deepfakes ont déjà causé des pertes massives pour les entreprises et les particuliers.Différents rapports montrent que l'inquiétude autour des deepfakes ne cesse de grandir. Un récent rapport révèle que les deepfakes se classent désormais au deuxième rang des incidents de cybersécurité les plus courants pour les entreprises britanniques et que plus d'un tiers des organisations en ont fait l'expérience. Les attaquants utilisent la technologie d'IA pour améliorer l'efficacité des attaques et inciter les victimes à effectuer des transferts de fonds.
Face à cette situation, une startup a dévoilé un outil de détection des vidéos deepfakes. Reality Defender est une entreprise qui crée des outils pour lutter contre la désinformation par l'IA. Christopher Ren, chef de produit chez Reality Defender, a commencé par faire une excellente imitation d'Elon Musk. Lors d'un appel vidéo, il a utilisé une seule photo pour générer un deepfake simpliste d'Elon Musk qui se superpose à son propre visage.
Cette imitation numérique visait à démontrer comment le nouvel outil de détection de l'IA de la startup pouvait fonctionner. Alors que Ren se faisait passer pour Musk lors de la conversation vidéo, des images fixes de l'appel étaient activement envoyées au modèle personnalisé de Reality Defender pour analyse, et le widget de l'entreprise sur l'écran avertissait que c'était probablement une image générée par l'IA et non pas le vrai Elon Musk.
Cette démonstration a mis en évidence le problème très réel des deepfakes. Les vidéo deepfakes en temps réel constituent une menace croissante pour les gouvernements, les entreprises et les particuliers. Récemment, le président de la commission des affaires étrangères du Sénat américain a pris par erreur un appel vidéo avec un deepfake. Une société internationale d'ingénierie a également été victime d'un deepfake vidéo au début de l'année 2024.
Ces incidents soulignent le potentiel d'utilisation de cette technologie dans le cadre d'activités frauduleuses. "Ce n'est probablement qu'une question de mois avant que nous n'assistions à une explosion des fraudes par deepfake vidéo et face-à-face", déclare Ben Colman, PDG et cofondateur de Reality Defender. Lorsqu'il s'agit d'appels vidéo, en particulier dans les situations à fort enjeu, il ne faut pas se fier à ce que l'on voit.
La startup Reality Defender se concentre donc sur le partenariat avec les entreprises et les gouvernements pour les aider à contrecarrer les deepfakes alimentés par l'IA. Selon Reality Defender, son plan pour le détecteur en temps réel est de commencer par un plug-in pour Zoom qui peut faire des prédictions actives pour savoir si les autres participants à un appel vidéo sont réels ou s'il s'agit d'imitations alimentées par l'IA. L'entreprise travaille encore à l'évaluation comparative de l'outil afin de déterminer avec quelle précision il distingue les vrais participants d'un appel vidéo des faux.
Détecter les "deepfakes" en temps réel
Pour l'instant, la nouvelle fonction logicielle ne sera disponible qu'en version bêta pour certains clients de la startup. Ce n'est pas la première fois qu'une entreprise technologique fait part de ses projets pour aider à repérer les deepfakes en temps réel.
En 2022, Intel a présenté son FakeCatcher, conçu pour analyser les changements dans le flux sanguin d'un visage afin de déterminer si un participant à une vidéo est réel. L'outil d'Intel n'est pas encore accessible au public. Les chercheurs universitaires explorent également différentes approches pour faire face à ce type spécifique de menace de "deepfake".
"Ces systèmes sont de plus en plus sophistiqués pour créer des deepfakes. Nous avons maintenant besoin de moins de données", explique Govind Mittal, doctorant en informatique à l'université de New York. "Si j'ai 10 photos de moi sur Instagram, quelqu'un peut les prendre et les utiliser pour créer un deepfake." Les deepfakes en temps réel ne sont plus réservés aux milliardaires, aux personnalités publiques ou à ceux qui sont très présents en ligne.
Les recherches de Mittal à l'Université de New York proposent une solution potentielle pour bloquer les robots d'IA dans les appels vidéo, où les participants devraient passer une sorte de test CAPTCHA vidéo avant de s'inscrire. Alors que Reality Defender s'efforce d'améliorer la précision de détection de ses modèles, Ben Colman explique que l'accès à davantage de données est un défi majeur à relever. Il espère que d'autres partenariats permettront de combler ces lacunes.
Que pouvez-vous faire dès maintenant pour vous protéger des escroqueries par appel vidéo ? Pour éviter d'être victime d'une escroquerie, il est essentiel de ne pas se montrer trop confiant dans sa capacité à repérer les faux appels vidéo. La technologie dans ce domaine continue d'évoluer rapidement, et les signes révélateurs auxquels vous vous fiez aujourd'hui pour repérer les deepfakes de l'IA pourraient ne plus être aussi fiables avec les futures mises à jour des modèles sous-jacents.
"Nous ne demandons pas à ma mère de 80 ans de signaler un ransomware dans un courriel", explique Ben Colman. "Parce qu'elle n'est pas experte en informatique. À l'avenir, il est possible que l'authentification vidéo en temps réel, si la détection par l'IA continue de s'améliorer et devient fiable et précise, soit aussi évidente que le scanner de logiciels malveillants qui fonctionne tranquillement en arrière-plan de votre boîte aux lettres électronique."
Comment l'outil de Reality Defender fonctionne-t-il ?
Après un ajout du plugin dans la plateforme de conférence, l'interface de Reality Defender apparaît directement dans l'application. Lorsqu'un appel est lancé, la suite de détection multi-modèle de Reality Defender rejoint l'appel en tant que bot, affichant un panneau latéral visible uniquement par l'utilisateur qui a lancé l'appel.
Au fur et à mesure que l'appel se déroule, les modèles de détection vidéo de Reality Defender commencent à analyser les visages à l'écran en temps réel, remplissant le panneau latéral avec des résultats et fournissant un score qui révèle la probabilité de manipulation de l'IA au cours de l'appel. Si la technologie deepfake est utilisée pour modifier l'apparence d'un participant et usurper le flux de vérification KYC ou se faire passer pour un cadre, un client ou un employé de confiance, l'utilisateur en est immédiatement informé au moyen d'un rapport exploitable.
Les flux vidéo individuels sont capturés dans la résolution d'origine et avec des informations d'image brute pour chaque participant. Pour plus de commodité, le bot plugin Reality Defender peut participer à plusieurs réunions, et l'interface utilisateur offre un ensemble d'outils permettant de gérer les réunions et de déconnecter les bots de détection à volonté. L'interface permet également de coordonner plusieurs flux vidéo et d'agréger les résultats pour chaque réunion et chaque participant. Le plugin est désormais disponible pour Zoom, et des mises à jour pour d'autres applications de conférence seront bientôt disponibles.
Voici la présentation de l'outil par Ben Colman, PDG de Reality Defender :
Alors que les progrès de la technologie de l'IA générative permettent de créer des deepfakes convaincants de la ressemblance et de la voix d'une personne, les fraudeurs commencent à déployer ces deepfakes pour contourner les vérifications de sécurité KYC, se faire passer pour des cadres et manipuler les institutions financières et d'autres entreprises pour qu'elles initient des actions à haut risque.
Au cours du premier trimestre 2024, l'utilisation d'applications de conférence telles que Zoom comme deuxième étape dans les attaques de fraude multicanal a augmenté de 33,3 %. La cybercriminalité alimentée par l'IA et les deepfakes sont les défis les plus pressants que les entreprises s'attendent à rencontrer dans les 2 à 3 prochaines années.
L'augmentation des vidéos deepfakes a déjà entraîné des pertes massives pour les entreprises. Dans un cas très médiatisé, un employé de la société d'ingénierie Arup a été manipulé par un faux appel vidéo avec le directeur financier de la société et a transféré 25 millions de dollars sur le compte d'un fraudeur. Alors que les cybercriminels continuent de tester les défenses des entreprises avec de nouvelles escroqueries alimentées par l'IA, Deloitte estime que l'IA générative entraînera 40 milliards de dollars de pertes dues à la fraude aux États-Unis d'ici 2027. 43 % des professionnels de la finance interrogés ont été victimes d'une attaque de deepfake scamming. Pourtant, 87 % de ces mêmes professionnels admettent qu'ils initieraient une transaction s'ils étaient "appelés" par leur PDG ou leur directeur financier à le faire sans délai.
Pour aider les entreprises à faire face à cette menace croissante, l'équipe de Reality Defender est fière d'annoncer la sortie de son système amélioré de détection de vidéo deepfake en temps réel. Ce plugin de pointe de Reality Defender s'intègre directement aux fournisseurs de conférences web en tant qu'application native, fournissant un outil de cybersécurité pratique et puissant fonctionnant au début de vos appels.
La détection en temps réel des vidéos truquées ajoute une couche cruciale à la sécurité interne et à la vérification externe des clients KYC/AML, garantissant la tranquillité d'esprit des cadres, des employés et des clients, qui peuvent être sûrs de voir une personne réelle et non une imitation générée par l'IA avec des intentions malveillantes. La facilité d'intégration et d'utilisation garantit que le plugin est prêt à fonctionner dès le premier jour, offrant ainsi une solution de cybersécurité de premier ordre, évolutive, indépendante des plateformes et alimentée par les modèles de détection primés de Reality Defender.
Les vidéo deepfakes en temps réel sont là pour durer et sont utilisés à des fins frauduleuses et malveillantes à un rythme insondable. C'est pourquoi Reality Defender peut désormais détecter ces deepfakes à chaque fois que vous participez à une réunion, grâce à notre célèbre approche multi-modèle.
Source : Reality Defender
Et vous ?
Pensez-vous que cet outil est crédible ou pertinent ? Quel est votre avis sur le sujet ?Voir aussi :
FakeCatcher, le détecteur de "deepfake" d'Intel, a été testé sur de vraies et de fausses vidéos par la BBC La NSA, le FBI et la CISA publient une fiche d'information sur la cybersécurité concernant les menaces liées aux Deepfake Deepfake : un employé paye 25 millions de dollars à des escrocs après une réunion vidéo avec son directeur financier généré par IA. Les anciennes conférences vidéos de ce directeur soupçonnées d'en être à l'origine