Les experts en sécurité informatique sont partagés sur l'utilisation de l'IA générative pour les experts en sécurité offensive (équipes rouges), qui simulent des cyberattaques pour tester les systèmes d'entreprise. Bien que certains experts, comme ceux d'IBM, estiment que l'IA peut accélérer la détection des vulnérabilités, d'autres restent prudents, soulignant que l'IA ne peut pas encore remplacer entièrement les tâches humaines et qu'elle peut poser des problèmes d'explicabilité, surtout si une équipe rouge doit défendre ses actions en justice. Des experts tels que Mert Mustafa et Kuo Yoong mettent en garde contre une dépendance excessive à l'IA, qui peut produire des résultats sans explication claire. Par ailleurs, des spécialistes comme Kevin Reed estiment que l'IA est mieux adaptée aux tests de pénétration qu'aux équipes rouges, qui se concentrent sur des tests plus complexes. Enfin, la question de la responsabilité légale de l'utilisation de l'IA dans les tests de sécurité demeure floue, avec des débats sur la transparence et l'explicabilité des actions de l'IA.L'IA générative est de plus en plus adoptée dans divers secteurs, mais les experts en sécurité informatique demeurent partagés sur son efficacité pour les « équipes rouges » qui évaluent la sécurité des systèmes d'entreprise. Le « red teaming » consiste à simuler des attaques pour repérer des vulnérabilités. Cette méthode courante a été adaptée pour tester les applications d'IA générative en les soumettant à de nombreuses requêtes, dans l'espoir que certaines génèrent des résultats problématiques que les développeurs pourront corriger. Les équipes rouges utilisent l'IA non seulement pour la tester, mais aussi comme un outil. En mai, l'équipe rouge d'IBM a révélé avoir employé l'IA pour analyser les systèmes informatiques d'un grand fabricant de technologies et a identifié une faille dans un portail de ressources humaines, offrant un accès étendu. L'équipe d'IBM estime que l'IA a permis de réduire le temps nécessaire pour détecter et exploiter cette vulnérabilité.
Lors du forum Canalys APAC en Indonésie, un panel a débattu de l'utilisation de l'IA dans les équipes rouges et des implications de la dépendance à l'IA, notamment sur le plan juridique. Purushothama Shenoy, directeur technique chez IBM APAC, a suggéré que l'IA pourrait être utile pour effectuer des tests de sécurité de manière plus éthique, en accélérant la détection des menaces à travers l’analyse automatisée de données à grande échelle. Cependant, il a exprimé des inquiétudes sur la tendance à ignorer les risques liés à la conception de systèmes IA. Mert Mustafa, directeur général chez eSentire, a mis en garde contre une trop grande confiance dans l'IA, soulignant qu'elle ne doit pas remplacer toutes les tâches humaines. Kuo Yoong, de Synnex, a également souligné que l'IA générative manque souvent de transparence sur la manière dont elle produit ses résultats, ce qui complique la défense des actions des équipes rouges en cas de litige.
Les experts conviennent que, bien que l'IA puisse transformer la cybersécurité, elle présente des défis juridiques et pratiques, notamment en raison de son manque d'explicabilité. Selon les intervenants, les criminels, eux, n’hésiteront pas à exploiter l’IA pour leurs attaques, ce qui rend son adoption inévitable. Nishant Jalan, de Galaxy Office Automation, a suggéré de limiter l'usage de l'IA générative pour éviter son excès et a appelé à une régulation stricte. D'autres experts se demandent si l'IA générative est encore suffisamment mature pour être intégrée aux équipes rouges. Kevin Reed, CISO d'Acronis, estime que l'IA est plus adaptée aux tests de pénétration, qui se concentrent sur les vulnérabilités techniques, tandis que les équipes rouges, axées sur des contrôles organisationnels plus subtils, nécessitent encore un travail humain plus poussé.
Concernant la légalité, Bryan Tan, associé du cabinet d'avocats Reed Smith spécialisé dans les technologies, estime que la principale question est de savoir qui porte la responsabilité de l'IA générative utilisée pour effectuer des tests de pénétration. Selon lui, cette responsabilité incombe à l'opérateur qui fournit le service de test. Il précise que l'opérateur, qu'il s'agisse de l'entreprise ou de l'employé, devra être en mesure de répondre aux interrogations et garantir la transparence et l'explicabilité des actions de l'IA. En ce qui concerne la régulation de l'IA, il indique que celle-ci en est encore à un stade « philosophique », bien que plusieurs pays aient déjà mis en place des réglementations sur les tests d'empreintes digitales, ce qui pourrait conduire à l'inclusion future de l'IA dans ces lois.
Bien que les tests de pénétration soient largement encouragés dans de nombreux pays, certains interdisent strictement leur pratique. Dans ces pays, la réalisation de tests non autorisés peut entraîner de lourdes sanctions juridiques, telles que des amendes importantes, des peines de prison et l'expulsion des ressortissants étrangers. Il est donc essentiel pour les particuliers et les organisations de bien comprendre les lois et réglementations locales concernant les tests de pénétration.
Les défis juridiques de l'IA dans les tests de pénétration
L'utilisation de l'IA générative dans les équipes rouges de sécurité offensive suscite un débat intéressant mais complexe. D'un côté, certains experts, comme ceux d'IBM, voient l'IA comme un outil capable d'accélérer la détection des vulnérabilités en automatisant une partie du processus de simulation d'attaque. Cela permettrait de gagner un temps précieux et d'identifier plus rapidement des points de faiblesse dans les systèmes, ce qui semble être un argument valable, surtout dans un environnement où les cybermenaces sont de plus en plus sophistiquées et urgentes. L'IA peut effectivement traiter des volumes massifs de données plus rapidement qu'un humain et détecter des schémas complexes dans des réseaux vastes, ce qui peut être un atout pour les équipes rouges.
Cependant, les critiques formulées par d'autres experts, comme Mert Mustafa et Kuo Yoong, mettent en lumière des préoccupations légitimes. L'IA, bien qu'efficace dans certains domaines, ne peut pas remplacer l’intuition, le jugement et l'expertise humaine dans des situations complexes. Les tests de pénétration effectués par les équipes rouges ne se limitent pas à identifier des vulnérabilités, mais comprennent également des aspects plus nuancés, comme l'analyse des comportements organisationnels et l'évaluation des protocoles de sécurité au niveau humain. L'IA pourrait échouer à capturer ces dynamiques, ce qui rend son rôle limité dans le cadre des tests d'équipe rouge.
De plus, un point crucial soulevé par ces experts est celui de l’explicabilité. Si une équipe rouge utilise l'IA pour simuler une attaque, comment justifier ensuite ses actions devant un tribunal ou dans le cadre d’une analyse de conformité réglementaire ? L'absence de transparence dans la manière dont l'IA prend ses décisions pourrait poser de graves problèmes juridiques. L'explicabilité des actions de l'IA devient donc une question épineuse, surtout lorsque des attaques simulées peuvent parfois violer des règles de confidentialité ou de sécurité, sans qu'on puisse clairement expliquer le raisonnement de l'IA.
L'argument de Kevin Reed, qui distingue les tests de pénétration des tâches effectuées par les équipes rouges, mérite également une attention particulière. L’IA semble être mieux adaptée aux tests de pénétration, qui se concentrent davantage sur la recherche de vulnérabilités techniques précises, plutôt que sur l’analyse des comportements humains ou des contrôles organisationnels complexes, des domaines dans lesquels l’IA peut être moins efficace.
Enfin, la question de la responsabilité légale, évoquée par Bryan Tan, soulève des inquiétudes quant à la responsabilité de l’IA dans un cadre juridique. Qui est responsable si l'IA commet une erreur ou provoque un dommage lors d'un test de pénétration ? Si l'IA est utilisée dans un cadre non autorisé ou produit des résultats imprévus, il sera difficile de déterminer qui porte la responsabilité – l'entreprise, le développeur de l'IA, ou même l'outil lui-même. La transparence, l'explicabilité et la régulation sont donc des points essentiels à prendre en compte pour éviter des risques juridiques.
En conclusion, bien que l'IA puisse constituer un outil précieux pour les équipes rouges, son utilisation ne doit pas être vue comme une solution universelle. L’IA peut être un allié dans certaines tâches spécifiques, mais elle ne saurait remplacer la capacité humaine à analyser des situations complexes et à justifier des actions en cas de besoin. Le défi consiste à trouver un équilibre entre l'automatisation des tâches simples et la préservation des compétences humaines dans les domaines stratégiques et critiques de la cybersécurité.
Sources : Prembly, Canalys APAC Forum
Et vous ?
Quel est votre avis sur le sujet ? L'IA peut-elle réellement remplacer l'expertise humaine dans la détection des vulnérabilités, ou ses limitations actuelles risquent-elles d'entraîner des erreurs critiques ?Voir aussi :
L'IA générative pour les tests d'intrusion : le bon, le mauvais et le laid, les tests de pénétration explorent les avantages, les défis et les risques associés aux applications de cybersécurité Un consultant en sécurité de Pen Test Partners indique qu'il est entré par effraction dans un centre de données, via un chemin caché derrière les toilettes