Gartner identifie quatre menaces critiques qui exigent des mesures d'amélioration urgentes de la part des responsables de la cybersécurité

Notamment les deepfakes et la compromission des applications d'IA

Gartner identifie quatre menaces critiques qui exigent des mesures d'amélioration urgentes de la part des responsables de la cybersécurité, notamment les deepfakes et la compromission des applications d'IA

Gartner identifie quatre menaces critiques nécessitant des améliorations urgentes de la part des responsables de la cybersécurité. Il s’agit notamment des deepfakes, de la compromission des applications d’IA, de l’injection de prompts et des chaînes d’approvisionnement logicielles. John Watts, vice-président et analyste chez Gartner, a expliqué comment les RSSI peuvent faire face à ces quatre menaces critiques. Il a notamment affirmé : « Les responsables de la cybersécurité doivent être capables de repérer le signal de menace au milieu de tout ce bruit afin de s’adapter aux évolutions du paysage des menaces. »

Selon Gartner, Inc., une société spécialisée dans les analyses commerciales et technologiques, il existe quatre menaces critiques et imprévisibles pour lesquelles les attaquants disposent d’un avantage significatif pour exploiter avec succès les faiblesses des organisations ciblées. Il s’agit notamment des deepfakes, de la compromission des applications d’IA, de l’injection de prompts et des chaînes d’approvisionnement logicielles.

Le Gartner ThreatScape classe les menaces en six domaines distincts selon deux axes :

- Différencier les menaces en fonction de la qualité et du volume des informations (« signal de menace ») disponibles.
- Évaluer les menaces en fonction des capacités de l'organisation à les gérer, et déterminer si les acteurs malveillants disposent d'un avantage.

Lors de l'évènement Gartner Security & Risk Management Summit, John Watts, vice-président et analyste chez Gartner, a expliqué comment les RSSI peuvent faire face à ces quatre menaces critiques. « La mise en place d’initiatives de sécurité par les entreprises pionnières en IA ajoute un bruit significatif à un paysage des menaces déjà bruyant », a déclaré Watts. « Les responsables de la cybersécurité doivent être capables de repérer le signal de menace au milieu de tout ce bruit afin de s’adapter aux évolutions du paysage des menaces. »


Compromission des applications d'IA

La compromission des applications d'IA figure parmi les menaces critiques, car les attaquants ciblent le nombre croissant d'outils d'IA d'entreprise, tant publics que internes, prêts à être mis en production. La surface d'attaque s'est élargie pour inclure des agents sur mesure, des intégrations tierces et des applications réservées aux employés, exposant souvent des données sensibles ou des identifiants lorsque les contrôles sont insuffisants.

« Les équipes de cybersécurité doivent étendre leurs programmes au-delà des protections logicielles traditionnelles en cartographiant les nouvelles surfaces d'attaque introduites par les modèles GenAI ou les outils agentiques », a déclaré Watts. « L'utilisation du cadre TRiSM (Trust and Risk in Security Management) de Gartner permet aux équipes de cybersécurité de savoir où intégrer des mesures d'atténuation des menaces spécifiques à l'IA directement dans le processus de développement des applications d'IA. »

Sécuriser une application d'IA ne signifie pas toujours repartir de zéro. De nombreuses start-ups spécialisées dans la sécurité de l'IA offrent des capacités plus étendues et plus approfondies à mesure que les organisations mûrissent et ont besoin d'une sécurité accrue autour de leur utilisation de l'IA. Pour faire face à cette menace, les RSSI doivent appliquer aux applications d'IA les meilleures pratiques en matière de cycle de vie de développement sécurisé et de modélisation des menaces. Ils doivent également renforcer la sécurité des données en améliorant la classification des données, en adoptant un contrôle d'accès basé sur l'objectif (PBAC) et en mettant en œuvre une surveillance en temps réel.

Usurpation d'identité à l'aide de deepfakes

L’avènement de la GenAI a considérablement accru le volume, la fidélité et l’accessibilité de la création de deepfakes pour la voix, la vidéo et les images, qu’il s’agisse d’artefacts préenregistrés ou générés en temps réel. Cela a élargi les possibilités pour les attaquants d’usurper des identités sur toute une gamme de surfaces d’attaque. Les deepfakes peuvent être utilisés pour attaquer les processus d’authentification biométrique, peuvent être combinés à l’ingénierie sociale dans le cadre d’attaques en temps réel contre les employés et peuvent servir à subvertir les processus de recrutement.

« L'utilisation des deepfakes par les attaquants ne cesse de progresser et est désormais courante, rendant les fraudes et les escroqueries par hameçonnage difficiles à détecter », a déclaré Watts. « Il n'existe pas de mesure de cybersécurité unique qui vous protégera. Les organisations doivent plutôt combiner le renforcement des processus métier, la sensibilisation et le déploiement des technologies de détection des deepfakes disponibles lorsque cela est possible. »

En conséquence, les équipes de cybersécurité doivent aller au-delà de la détection des deepfakes et renforcer les contrôles afin de protéger l’intégrité des communications en temps réel, ainsi que les processus d’authentification et de vérification biométriques, en tenant compte des éléments suivants :

- Élaborez une stratégie de mitigation robuste en reconnaissant que la détection des deepfakes à elle seule ne suffit pas pour détecter et prévenir les attaques d’usurpation d’identité par deepfake. Concentrez-vous plutôt sur des couches de contrôles qui varieront selon le cas d’utilisation.
- Protéger la vérification d’identité biométrique en mettant l’accent sur la détection des attaques par présentation et par injection, en plus des signaux contextuels.
- Sécuriser les réunions en ligne en mettant en œuvre des politiques d’accès conditionnel afin d’imposer une authentification forte pour les participants aux appels et l’analyse des métadonnées des appels.


Menaces pesant sur la chaîne d'approvisionnement logicielle

« L'évolution des offres d'IA générative ne fera qu'accélérer la tendance aux attaques visant la chaîne d'approvisionnement logicielle par le biais des vulnérabilités des logiciels open source », a déclaré Watts. « Les organisations doivent s'efforcer de mettre en place des registres de composants fiables, de renforcer leurs pipelines CI/CD et de développer de solides capacités opérationnelles de détection et de réponse aux anomalies. »

Les équipes de cybersécurité devraient établir des inventaires complets des actifs logiciels tout en intégrant des contrôles rigoureux à chaque étape du développement. Ces mesures contribuent à se défendre contre les menaces émergentes qui ciblent à la fois les applications traditionnelles et les pipelines modernes basés sur l’IA. Dans cette optique, les RSSI devraient :

- Exiger des SBOM (et des AIBOM) de la part de tous les fournisseurs ; évaluer le risque de chaque composant à l’aide d’outils disposant de renseignements actualisés sur les menaces avant le déploiement.
- Utiliser des référentiels sélectionnés pour le code tiers, les images de conteneurs et les modèles d’IA ; appliquer une protection des branches sur les référentiels de code.
- Signer les artefacts lors des builds ; mettre en œuvre des contrôles d'accès basés sur le principe du privilège minimal sur les systèmes de build ; surveiller en continu l'activité d'exécution à l'aide d'outils agents.

Injection de prompt

L'injection de prompt est une menace de cybersécurité ciblant les systèmes d'IA, en particulier ceux utilisant des modèles linguistiques de grande envergure (LLM). Les attaquants manipulent les prompts pour modifier le comportement du modèle, le poussant à divulguer des informations sensibles, à effectuer des actions non autorisées ou à contourner les contrôles. À mesure que les organisations adoptent de plus en plus l'IA générative, le risque d'injection de prompt s'accroît, ce qui en fait un enjeu critique pour les équipes de cybersécurité.

Pour contrer efficacement les menaces d'injection de prompt, les équipes de cybersécurité doivent mettre en œuvre une stratégie de mitigation à plusieurs niveaux. Cela implique de réaliser des tests de sécurité de l'IA pour identifier de manière proactive les vulnérabilités, d'établir des prompts système robustes pour guider le comportement de l'IA, et de déployer des garde-fous d'exécution de l'IA qui surveillent et bloquent les activités suspectes. Les actions clés pour les RSSI comprennent :

- Mettre en œuvre la validation et l'assainissement des entrées pour filtrer les invites potentiellement malveillantes.
- Mettre en place une surveillance et des alertes pour détecter tout comportement anormal de l'IA pouvant indiquer une injection d'invite réussie.
- Intégrer des tests d'injection d'invite dans le cycle de vie du développement des systèmes d'IA.
- Exploiter les résultats des tests pour améliorer les contrôles d'exécution.

Source : Gartner

Et vous ?

Pensez-vous que cette présentation est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

YouTube met à la disposition des politiciens et des journalistes un outil de détection des deepfakes afin de protéger les utilisateurs au cœur du débat politique et d'identifier les vidéos générées par l'IA

OpenAI étend le mode « Lockdown » à davantage d'utilisateurs de ChatGPT afin de lutter contre les attaques par injection de prompt.Le mode « Lockdown » limite l'accès au Web et aux services externes

Les menaces pesant sur la chaîne d'approvisionnement des logiciels augmentent à l'ère de l'IA : CVE, paquets malveillants, mauvaises configurations et erreurs humaines