La nouvelle fonctionnalité de création de fichiers de l'assistant d'IA Claude comporte des risques de sécurité importants,

Mais les mesures de protection proposées par Anthropic sont jugées insuffisantes

La nouvelle fonctionnalité de création de fichiers de l'assistant d'IA Claude comporte des risques de sécurité importants
mais les mesures de protection proposées par Anthropic sont jugées insuffisantes

L'IA Claude d'Anthropic dispose d'une nouvelle fonctionnalité permettant de créer et d’éditer des fichiers. Cette avancée offre plus de flexibilité et de capacités aux utilisateurs, mais elle introduit des failles de sécurité critiques. Elles peuvent permettre l’injection de contenu nuisible, l’élévation de privilèges ou l’exécution de code sans que l’utilisateur s’en aperçoive. Anthropic a mis en place des environnements isolés (sandbox) pour limiter ces risques et appelle les utilisateurs à surveiller les fichiers générés et les interactions avec l’IA. Mais les experts estiment que ces mesures sont insuffisantes et accusent Anthropic de déléguer la sécurité aux utilisateurs.

Jusqu'à présent, Claude ne pouvait fournir que des réponses textuelles et des artefacts intégrés à l'application, mais il ne pouvait pas créer ni modifier de fichiers. Anthropic vient d'ajouter une fonctionnalité à Claude qui lui permet de créer et de modifier des formats de fichiers courants, notamment des feuilles de calcul Excel, des documents, des présentations PowerPoint et des fichiers PDF, sans quitter l'expérience Web Claude.ai ou l'application de bureau.

Claude a désormais accès à un environnement informatique privé qu'il utilisera pour écrire et exécuter du code afin de créer les fichiers et les analyses dont vous avez besoin. Cette nouvelle fonctionnalité de création de fichiers est en cours de déploiement en avant-première pour les utilisateurs des plans Claude Max, Team et Enterprise. Les utilisateurs de Claude Pro bénéficieront également de cette nouvelle fonctionnalité dans les semaines à venir.


Bien que cette fonctionnalité puisse être pratique pour les utilisateurs de Claude, la documentation d'assistance de l'entreprise avertit qu'elle peut « mettre vos données en danger » et explique en détail comment l'assistant d'IA peut être manipulé pour transmettre les données des utilisateurs à des serveurs externes.

Le problème de sécurité vient du fait que la fonctionnalité donne à Claude l'accès à un sandbox, qui lui permet de télécharger des paquets et d'exécuter du code pour créer des fichiers. « Cette fonctionnalité donne à Claude un accès à Internet pour créer et analyser des fichiers, ce qui peut mettre vos données en danger. Surveillez attentivement les chats lorsque vous utilisez cette fonctionnalité », explique Anthropic dans son annonce sur son blogue.

Anthropic délègue la sécurité aux utilisateurs de son assistant Claude

Dans la documentation, Anthropic explique qu'un acteur malveillant manipulant cette fonctionnalité pourrait potentiellement « ajouter discrètement des instructions via des fichiers externes ou des sites Web » qui manipulent Claude « pour que l'assistant lise des données sensibles à partir d'une source de connaissances connectée à claude.ai et utilise l'environnement sandbox pour effectuer une requête réseau externe afin de divulguer les données ».

Il s'agit d'une attaque par injection de prompt, dans laquelle des instructions cachées intégrées dans un contenu apparemment innocent peuvent manipuler le comportement du modèle d'IA, une vulnérabilité que les chercheurs en sécurité ont documentée pour la première fois en 2022.

Ces attaques représentent une faille de sécurité pernicieuse et non résolue des grands modèles de langage (LLM), car les données et les instructions sur la manière de les traiter sont transmises au modèle dans le même format dans le cadre de la « fenêtre contextuelle », ce qui rend difficile pour un modèle d'IA de faire la distinction entre les instructions légitimes et les commandes malveillantes cachées dans le contenu fourni par l'utilisateur.

Anthropic dit avoir découvert ces vulnérabilités grâce à des tests de sécurité et de red teaming avant sa sortie. La société recommande aux utilisateurs de surveiller Claude pendant l'utilisation de la fonctionnalité et de l'arrêter s'ils constatent qu'il utilise ou accède à des données de manière inattendue.

Cependant, cela fait peser entièrement la responsabilité de la sécurité sur l'utilisateur dans ce qui est commercialisé comme un système automatisé et sans intervention. Simon Willison, chercheur indépendant en IA, a commenté cette fonctionnalité, soulignant que la recommandation d'Anthropic de « surveiller Claude pendant l'utilisation de la fonctionnalité » revient à « externaliser injustement le problème aux utilisateurs d'Anthropic ».

Simon Willison affirme que les mesures de sécurité mises en place par Anthropic sont insuffisantes. « Je prévois d'utiliser cette fonctionnalité avec prudence pour toutes les données que je ne souhaite absolument pas voir divulguées à des tiers, s'il existe le moindre risque qu'une instruction malveillante s'y glisse », a-t-il déclaré.

Des mesures d'atténuation jugées insuffisantes par les chercheurs

Anthropic n'ignore toutefois pas complètement le problème. La société a mis en place plusieurs mesures de sécurité pour la fonctionnalité de création de fichiers. Pour les utilisateurs Pro et Max, Anthropic a désactivé le partage public des conversations qui utilisent la fonctionnalité de création de fichiers. Pour les utilisateurs Enterprise, la société a mis en place un environnement sandbox afin que les environnements ne soient jamais partagés entre les utilisateurs. Anthropic a également limité la durée des tâches et le temps d'exécution des conteneurs afin d'éviter les boucles d'activités malveillantes.

Pour les administrateurs Team et Enterprise, Anthropic fournit également une liste blanche des domaines auxquels Claude peut accéder, notamment api.anthropic.com, github.com, registry.npmjs.org et pypi.org. La documentation indique que « Claude ne peut être amené à divulguer les données auxquelles il a accès dans une conversation que par le biais d'un prompt, d'un projet ou de connexions activées par un utilisateur individuel ».


Anthropic dispose d'un processus continu de tests de sécurité et de red teaming de cette fonctionnalité. L'entreprise encourage les organisations à « évaluer ces protections par rapport à leurs exigences spécifiques en matière de sécurité lorsqu'elles décident d'activer ou non cette fonctionnalité ». Conformément à son cadre relatif aux agents sûrs et fiables, Anthropic a appliqué les mesures d'atténuation suivantes pour les utilisateurs individuels :

• vous avez le contrôle total de cette fonctionnalité. Vous pouvez l'activer ou la désactiver à tout moment ;
• vous pouvez arrêter les actions de Claude à tout moment et Anthropic recommande de surveiller son travail lorsque vous utilisez cette fonctionnalité ;
• vous avez la possibilité de revoir et d'auditer les actions effectuées par Claude dans l'environnement Sandbox ;
• le partage public des conversations incluant des artefacts de fichiers provenant de la fonctionnalité de création de fichiers a été désactivé pour les utilisateurs Pro et Max ;
• la durée des tâches pouvant être effectuées par Claude et la durée d'utilisation d'un seul conteneur Sandbox ont été limitées afin d'éviter les boucles d'activités malveillantes ;
• les ressources réseau, conteneur et stockage ont été intentionnellement limités ;
• mise en place d'un classificateur pour détecter les injections de prompt et arrêter l'exécution si elles sont détectées.

L'IA deviendra bientôt incontournable dans les services informatiques

Gartner a récemment organisé un symposium informatique de Gartner à Gold Coast, en Australie, au cours duquel plusieurs experts ont pris la parole pour évoquer l'impact potentiel de l'IA dans le secteur informatique dans un avenir proche. Alicia Mullery, vice-présidente et analyste chez Gartner, a rappelé qu'à l'heure actuelle, 81 % du travail est effectué par des humains sans aucune aide de l'IA. Mais la tendance devrait s'inverser d'ici la fin de la décennie.

D'ici 5 ans, Gartner estime que jusqu'à 75 % du travail informatique sera constitué d'activités humaines augmentées par l'IA, le reste étant effectué par des robots seuls. Daryl Plummer, vice-président analyste émérite, a déclaré que cette évolution permettra aux services informatiques de gagner en capacité de travail et qu'ils devront prouver qu'ils méritent de la conserver. « Il ne faut jamais donner l'impression d'avoir trop de personnel », a-t-il conseillé.

Daryl Plummer a suggéré aux responsables informatiques de consulter leurs homologues d'autres services de l'entreprise afin d'identifier les opportunités à valeur ajoutée que les services informatiques peuvent exploiter. Pourtant, l'omniprésence de l'IA commence à agacer de plus en plus de travailleurs.

Depuis plusieurs mois, un malaise grandit chez les utilisateurs de GitHub. Copilot, qui devait être une révolution en matière de productivité, se transforme pour beaucoup en cauchemar imposé. Présenté au départ comme une option, Copilot devient un élément quasi indissociable de l’expérience GitHub et Visual Studio Code, auquel il est intégré par défaut. Il est difficile à désactiver et omniprésent jusque dans les suggestions de problèmes ou de pull requests.

Ce glissement d’un service facultatif vers une imposition systématique nourrit une impression d’intrusion, voire de manipulation. Pour nombreux utilisateurs de la plateforme, GitHub ne respecte plus leur autonomie et leur liberté de choix, deux valeurs pourtant fondatrices de la culture open source.

Conclusion

L'IA s'impose de plus en plus dans les organisations et les fournisseurs s'empressent d'améliorer les capacités de leurs produits afin de rester compétitifs sur le marché. D'ici à 2023, la réalisation de 75 % du travail informatique impliquera l'IA et les 25 % restants seront entièrement automatisés. Mais l'adoption de l'IA ne se fera pas sans encombre. Selon Gartner, de nombreux obstacles restent à surmonter et la plupart des projets d'IA échouent pour l'instant.

La nouvelle fonctionnalité de l'assistant Claude d'Anthropic offre des capacités avancées, mais comporte des risques de sécurité majeurs. Les utilisateurs doivent en être conscients et rester vigilants et prendre des précautions pour éviter tout incident lié à des fichiers malveillants ou des exploits de l’IA.

Sources : Anthropic, billet de blogue

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la fonctionnalité de création et d'édition de fichiers de Claude ?
Selon vous, faut-il faire confiance à une IA pour créer ou manipuler des fichiers sensibles ?
Comment les utilisateurs peuvent-ils se protéger efficacement lors de l'utilisation de cette fonctionnalité ?
Les experts en cybersécurité affirment que les mesures d'atténuation mises en place Anthropic sont insuffisantes. Qu'en pensez-vous ?

Voir aussi

L'IA Claude d'Anthropic peut désormais créer et modifier des formats de fichiers courants : Excel, documents, présentations PowerPoint et PDF, sans quitter l'expérience web ou l'application de bureau

Microsoft modifie sa stratégie en matière d'IA en intégrant les modèles Claude d'Anthropic dans les applications Office 365, qui seraient plus performants que les modèles d'OpenAI dans certains cas

GitHub sous tension : certains utilisateurs mécontents se rebellent contre les fonctionnalités IA Copilot imposées quand l'aide optionnelle au codage se transforme en prison numérique