Une nouvelle étude de Legit Security montre que les services de développement de GenAI largement disponibles risquent d'exposer des informations sensibles ou de divulguer des secrets.L'intelligence artificielle générative (IA générative ou GenAI) est une intelligence artificielle capable de générer du texte, des images, des vidéos ou d'autres données à l'aide de modèles génératifs, souvent en réponse à des invites. Les modèles d'IA générative apprennent les modèles et la structure de leurs données d'entraînement et génèrent ensuite de nouvelles données présentant des caractéristiques similaires.
L'analyse par Legit de bases de données vectorielles non protégées révèle que 30 serveurs examinés contenaient des données d'entreprise ou privées, notamment des conversations de courrier électronique d'entreprise, des informations personnelles de clients, des numéros de série de produits, des dossiers financiers, des curriculum vitae et des informations de contact.
En outre, trois bases de données vectorielles provenant de deux des plateformes les plus populaires et appartenant à des entreprises des secteurs des services d'ingénierie, de la mode et de l'équipement industriel contiennent des documents, des résumés de médias, des détails sur les clients et des informations sur les achats.
Legit a contacté les propriétaires de ces serveurs exposés publiquement et la plupart d'entre eux ont bloqué l'accès à ces serveurs.
Les secrets exposés comprennent les clés d'API OpenAI et Pinecone, les jetons d'accès GitHub et les URL avec les mots de passe des bases de données. L'exposition de toutes les configurations et des invites LLM de ces applications a également été découverte, ce qui peut aider à créer des vulnérabilités d'invite d'exploitation plus tard.
Naphtali Deutsch, anciennement membre des services de renseignement militaire israéliens et aujourd'hui chercheur en sécurité chez Legit, écrit sur le blog de la société : « Lorsque vous déployez un logiciel de base de données vectorielle sur un serveur auto-hébergé, un attaquant peut exploiter les vulnérabilités qui existent dans ce logiciel et, par exemple, obtenir une exécution de code à distance ou une élévation de privilèges sur ce serveur. Le risque est encore plus important lorsque l'on utilise un logiciel obsolète, dont les vulnérabilités sont bien connues et facilement exploitables ».
Afin de se protéger contre ces menaces, Naphtali Deutsch recommande d'empêcher tout accès inutile aux bases de données et aux services d'IA, de surveiller et d'enregistrer l'activité sur les plateformes d'IA, de s'assurer que les logiciels sont maintenus à jour et de masquer les détails sensibles des données avant de les utiliser dans un LLM.
À propos de Legit Security
Legit est une nouvelle façon de gérer la sécurité des applications pour les équipes chargées de la sécurité, des produits et de la conformité. Avec Legit, les entreprises disposent d'un moyen plus propre et plus simple de gérer et de faire évoluer la sécurité des applications et de traiter les risques, du code au cloud. Conçu pour le SDLC moderne, Legit s'attaque aux problèmes les plus difficiles auxquels sont confrontées les équipes de sécurité, notamment l'utilisation de la GenAI, la prolifération des secrets et un environnement de développement incontrôlé. Rapide à mettre en œuvre et facile à utiliser, Legit permet aux équipes de sécurité de protéger leur usine logicielle de bout en bout, donne aux développeurs des garde-fous qui leur permettent de faire leur meilleur travail en toute sécurité, et prouve le succès du programme de sécurité. Cette nouvelle approche permet aux équipes de contrôler les risques dans l'ensemble de l'entreprise - et de le prouver.
Source : "The Risks Lurking in Publicly Exposed GenAI Development Services" (étude de Legit Security)
Et vous ?
Quel est votre avis sur le sujet ? Trouvez-vous les conclusions de cette étude de Legit Security crédibles ou pertinentes ?Voir aussi :
Les craintes liées à la sécurité conduisent les entreprises à interdire l'utilisation de la GenAI : 27 % des organisations ont interdit l'utilisation de l'IA générative, selon Cisco Seuls 5 % des experts en cybersécurité ont confiance dans les mesures de sécurité qui protègent leurs applications GenAI, même si 90 % d'entre eux les utilisent activement, d'après une étude de Lakera Les risques liés à l'IA connaîtront la plus forte augmentation de couverture d'audit en 2024, la GenAI crée des risques nouveaux et accrus pour la sécurité des données, selon Gartner