OpenAI affirme accélérer le renforcement des mesures de sécurité relatives à l'IA, après que le modèle GPT-5.6 Sol se soit échappé d'un test contrôlé pour pirater les serveurs d'Hugging Face

OpenAI a déclaré qu'elle intensifiait ses efforts pour renforcer les mesures de sécurité relatives à l'IA, à la suite du récent incident survenu chez Hugging Face, au cours duquel un modèle OpenAI s'est déchaîné et a pris pour cible la plateforme open source. L'entreprise a suspendu certaines charges de travail de pointe en IA susceptibles d'exécuter du code ou d'accéder à Internet, et a depuis mis en place des contrôles plus stricts. Le 7 août, OpenAI a annoncé qu'elle suspendait les activités internes liées à Astra jusqu'à ce que celui-ci réponde à des contrôles de sécurité plus stricts. L'entreprise a étendu ses capacités de surveillance afin de détecter les comportements potentiellement dangereux des modèles.

OpenAI est un organisme américain de recherche en intelligence artificielle (IA) dont le siège social est situé à San Francisco. Il est constitué d’OpenAI Group PBC, une société d’intérêt public à but lucratif (PBC), contrôlée en partie par OpenAI Foundation, une organisation à but non lucratif. OpenAI développe des modèles d’IA générative, notamment la série GPT de grands modèles linguistiques. Le lancement de ChatGPT en novembre 2022 est considéré comme ayant catalysé l’essor de l’IA et suscité un intérêt généralisé pour l’IA générative.

En juillet 2026, OpenAI a déclaré que deux de ses modèles d’IA les plus avancés — notamment GPT-5.6 Sol et un modèle en pré-lancement encore plus performant, tous dotés de capacités de cyberdéfense réduites à des fins d’évaluation — s’étaient échappés d’un test contrôlé et avaient piraté une autre entreprise spécialisée dans l’IA. OpenAI a indiqué que cet « incident de cybersécurité sans précédent » s’était produit lors d’un exercice interne destiné à tester les capacités cybernétiques de ses modèles. OpenAI a affirmé que ce piratage montre que l’agent est allé « très loin » pour récupérer des informations qui aideraient à atteindre les objectifs du test.

À la suite du récent incident survenu chez Hugging Face, au cours duquel un modèle OpenAI s’est déchaîné et a pris pour cible la plateforme open source alors qu’il tentait d’accomplir une tâche, l’entreprise spécialisée dans l’IA a déclaré qu’elle intensifiait ses efforts pour renforcer les mesures de sécurité relatives à l’IA. Dans une mise à jour publiée le 18 août, l’entreprise a indiqué qu’à mesure que les modèles gagnaient en capacités, les risques liés à leur développement et à leur test en interne augmentaient également.


À la suite de l’incident Hugging Face, l’entreprise a suspendu certaines charges de travail de pointe en IA susceptibles d’exécuter du code ou d’accéder à Internet, et a depuis mis en place des contrôles plus stricts, notamment le sandboxing des charges de travail, l’isolation réseau et des tests de sécurité continus. Le rythme des tests a été temporairement ralenti et sa plus grande campagne prévue d’apprentissage par renforcement (RL) de pointe reste en suspens.

L'entreprise cherche à faire évoluer son « cadre de préparation », publié pour la première fois en décembre 2023. Ce cadre consiste à suivre et à se préparer aux capacités avancées de l'IA susceptibles d'engendrer de nouveaux risques de préjudice grave. L'entreprise a constaté, à la suite d'évaluations internes d'Astra, l'un de ses futurs modèles, que celui-ci pourrait atteindre le seuil critique de capacité cybernétique défini par le cadre de préparation.

Le 7 août, OpenAI a annoncé qu’elle suspendait les activités internes liées à Astra jusqu’à ce que celui-ci réponde à des contrôles de sécurité plus stricts. Dans sa dernière mise à jour, elle a révélé que les charges de travail d’Astra restaient suspendues jusqu’à ce qu’elles soient entièrement migrées et améliorées pour répondre aux nouvelles exigences de sécurité.

Comment OpenAI intensifie les mesures de sécurité liées à l'IA

Comme OpenAI prévoit que ses modèles seront bientôt à l'origine de la plupart des problèmes de sécurité, l'approche de l'entreprise en matière de sécurité doit évoluer au rythme des capacités de l'IA. La société spécialisée dans l’IA a étendu ses capacités de surveillance afin de détecter les comportements potentiellement dangereux des modèles.

Son nouveau système de surveillance en plusieurs étapes utilise des classificateurs pour identifier les activités suspectes et transmettre les signalements à des enquêteurs automatisés qui analysent l’utilisation des outils, les processus de raisonnement et les actions des modèles. OpenAI a indiqué que le système était conçu pour émettre une alerte dans les 30 minutes suivant la détection d’une « activité préoccupante », une surveillance renforcée étant désormais requise pour les modèles avancés capables d’utiliser des outils externes. Les investissements sont également renforcés, parallèlement aux travaux de recherche visant à réduire les risques associés à des systèmes d’IA de plus en plus performants.

L’entreprise met en place des contrôles supplémentaires pendant l’apprentissage par renforcement afin de décourager des comportements tels que le « reward hacking », la tromperie et les tentatives de contournement des mesures de sécurité. OpenAI a fait valoir qu’à mesure que les modèles d’IA développent des capacités cybernétiques plus puissantes et accèdent à des systèmes externes, il sera essentiel de s’assurer qu’ils restent conformes aux objectifs visés afin de prévenir les utilisations abusives et de réduire les risques liés à la cybersécurité.

Sam Altman, considéré par certains comme la plus grande star de l’IA, est le cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT. C’est l’une des personnalités majeures de la montée en puissance de l’IA observée ces dernières années. Dans un récent entretien, il revient sur la question en lien avec les avancées en matière d’IA et affirme que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

Voici l'annonce d'OpenAI :

Définir le rythme de développement des modèles à l'ère des capacités cybercritiques

Au cours des dernières semaines, deux événements ont mis en évidence les risques croissants liés à des systèmes d’IA de plus en plus performants : l’incident impliquant OpenAI et Hugging Face, d’une part, et, d’autre part, des indices préliminaires suggérant que l’un de nos futurs modèles, Astra, pourrait atteindre le seuil de « capacité critique en matière de cybersécurité » défini dans notre cadre de préparation. Conjugués aux progrès rapides de nos recherches internes, ces événements ont renforcé l’urgence de nos travaux visant à renforcer nos mesures de surveillance, d’alignement et de confinement à toutes les étapes du processus d’entraînement.

À mesure que les modèles gagnent en performances, les risques liés à leur développement et à leur test en interne s’accroissent également. Nos normes en matière de surveillance, d’alignement et de sécurité doivent garder une longueur d’avance sur ces risques. Nous avons souhaité prendre le temps nécessaire pour respecter ces normes, c’est pourquoi nous avons temporairement ralenti le rythme de notre expansion. Cela a notamment impliqué une pause de deux semaines dans l’entraînement par apprentissage par renforcement (RL) de nos derniers modèles destinés au déploiement, le temps de renforcer davantage la sécurité de nos environnements de recherche, d’y mener des tests de type « red team » et d’étendre la couverture de nos systèmes de surveillance.

Notre plus grande campagne d’apprentissage par renforcement de pointe prévue reste suspendue, tandis que nous menons des entraînements et des évaluations à plus petite échelle afin d’évaluer le comportement des modèles, de valider nos mesures de sécurité et d’établir davantage de preuves d’alignement avant de poursuivre. L’alignement — c’est-à-dire le travail visant à faire en sorte que les systèmes d’IA se comportent comme prévu et répondent au contrôle humain — est depuis longtemps au cœur de notre programme de recherche. Nous exigeons désormais des preuves plus solides d’un comportement aligné tout au long de l’entraînement, en nous appuyant sur les recherches et les évaluations déjà en cours.

Maintenir l’alignement de systèmes de plus en plus performants est un défi que l’ensemble du domaine devra relever. Les signaux que nous percevons dans les progrès à venir des modèles montrent clairement que nous avons besoin d’une approche plus large — une approche qui s’appuie sur le cadre de préparation actuel et va au-delà de celui-ci. Nous estimons qu’il est important de faire preuve de transparence quant à l’évolution de notre approche. Nous décrivons ci-dessous les changements que nous avons déjà apportés à nos processus de recherche et à notre infrastructure, ainsi que les travaux encore en cours.

Renforcement des mesures de sécurité pour des modèles plus performants

Notre approche visant à développer des modèles plus performants repose sur trois mesures de sécurité qui se complètent :

1. La surveillance, qui permet de détecter les comportements préoccupants et d'y réagir.
   
2. L'alignement, qui réduit le risque d'actions préjudiciables ou non autorisées.
   
3. Les mesures de sécurité, qui limitent ce à quoi les systèmes d'IA peuvent accéder ou ce sur quoi ils peuvent avoir une incidence.

Nous prévoyons que les modèles piloteront bientôt la majeure partie des tâches de sécurité, y compris la défense contre d’autres modèles. Cela permettra aux trois mesures de protection de s’adapter à la capacité des modèles, ce que nous considérons comme essentiel. Nous appliquons ces mesures de protection tant au stade de la recherche que lors du déploiement, en les adaptant aux capacités de chaque modèle, à son environnement d’exploitation et à son niveau de risque.

Sécurisation de nos environnements de recherche

À mesure que les modèles de pointe acquièrent des capacités de cybersécurité accrues, nous renforçons les normes de sécurité applicables aux environnements dans lesquels nous les entraînons et les évaluons. Le respect de ces normes a nécessité un travail d’ingénierie considérable et a entraîné des coûts importants ainsi que des retards dans la recherche de pointe. Immédiatement après l’incident OpenAI-Hugging Face, nous avons suspendu l’inférence des modèles de pointe dans les clusters de recherche pour les exécutions susceptibles de lancer du code ou d’utiliser des outils pouvant accéder à Internet.

Nous avons assez rapidement rétabli une voie plus restreinte et plus sécurisée pour l’exécution de code, puis nous avons examiné chaque charge de travail individuellement afin de déterminer si elle pouvait reprendre en toute sécurité. Certaines charges de travail de recherche ont repris dans le cadre de ces nouveaux contrôles, tandis que d’autres ont nécessité des modifications supplémentaires. Au cours des semaines suivantes, nous avons défini et commencé à mettre en œuvre des exigences de sécurité plus strictes pour les charges de travail de recherche de pointe. Par exemple :

• Isolement des charges de travail : nous exigeons désormais un isolement renforcé (« sandbox ») pour les charges de travail qui exécutent du code généré par des modèles ou considéré comme non fiable. Cela s’applique également aux logiciels susceptibles d’être compromis lors du traitement des résultats des modèles.
  
• Isolement réseau : nous avons mis en place davantage de contrôles pour isoler les charges de travail à haut risque et non fiables d’Internet. Nous avons conçu ces contrôles de manière à ce que la compromission d’une seule charge de travail ou d’un service associé ne permette pas, à elle seule, un accès non autorisé à Internet ou à d’autres réseaux internes.
  
• Tests de sécurité continus : nous avons reconfiguré notre environnement afin de supprimer les services partagés potentiellement vulnérables, de réduire les privilèges permanents et d’améliorer les limites de sécurité et de confiance. Nous améliorons également notre capacité à collecter et à surveiller les journaux de sécurité. Enfin, nous investissons dans l’automatisation en utilisant nos modèles pour tester en continu ces limites face à des attaques simulées.

Ensemble, ces contrôles assurent une défense en profondeur et contribuent à protéger notre environnement de recherche contre les attaques. Aujourd’hui, nous exigeons le niveau le plus strict de mesures de sécurité pour les charges de travail impliquant Astra ou des modèles cybernétiques, car nous avons déterminé que les modèles Astra peuvent présenter un niveau critique de capacités cybernétiques. Ces mesures s’appliquent également à toutes les autres charges de travail liées à la cybersécurité.

Si certaines formations et évaluations Astra répondent à ces exigences, un nombre important de charges de travail restent suspendues jusqu’à ce qu’elles soient entièrement migrées et améliorées pour satisfaire aux nouveaux critères de sécurité. Nous donnons la priorité à la migration vers ces nouveaux environnements des charges de travail liées à la sécurité et à l’alignement.

Extension de la surveillance de la chaîne de raisonnement

La surveillance fait depuis longtemps partie intégrante de notre processus de développement de modèles, notamment la surveillance des agents de codage internes et des sessions de longue durée. Nos efforts de surveillance se sont particulièrement concentrés sur les déploiements internes de modèles « frontier » et les cycles d’entraînement « frontier » en apprentissage par renforcement, que nous considérions comme les charges de travail présentant le plus grand risque, car elles peuvent associer des capacités...