Cyberattaque par une IA : en lui prêtant des intentions, on oublie ses concepteurs

De mai à juillet 2026, des « agents » développés par OpenAI, l’entreprise qui développe ChatGPT, ont contourné l’isolement de leur environnement de test, accédé à Internet et compromis l’infrastructure informatique de Hugging Face, une plateforme d’hébergement de modèles d’IA. Un agent est, ici, un programme d’intelligence artificielle capable d’agir directement sur son environnement.

Cet incident mérite d’être examiné, autant pour ce qui s’est effectivement passé, que pour la manière dont il a été raconté. En effet, il a donné lieu à une très large couverture médiatique et l’Independent International Scientific Panel on AI, placé sous l’égide de l’ONU, a vu dans cet incident « l’un des avertissements les plus clairs, dans le monde réel, concernant une voie possible vers la perte de contrôle humain sur l’IA » ¹ [1].

Des agents d’OpenAI se seraient « échappés » de leur « bac à sable » (sandbox en anglais, un environnement de test isolé, coupé d’Internet), OpenAI en aurait « perdu le contrôle », les agents auraient communiqué entre eux, constitué une sorte de forum (message board), se seraient même désignés comme un essaim (swarm), avant de pirater et d’accéder aux systèmes de Hugging Face. Pris à la lettre, ce vocabulaire raconte presque un changement de statut : de programme, la machine serait devenue agent, puis collectif organisé capable de s’affranchir des limites imposées par ses concepteurs.

Il faut revenir à une description plus précise et factuelle. Non pour minimiser les problèmes révélés par l’incident, mais pour éviter leur traduction immédiate dans le vocabulaire anthropomorphique qui accompagne l’intelligence artificielle depuis ses origines.

Les agents d’OpenAI se sont-ils réellement « échappés » ?

L’intelligence artificielle est depuis longtemps décrite avec des termes empruntés aux activités humaines. Les machines « apprennent », « raisonnent », « comprennent ». Les modèles génératifs se sont mis à « halluciner », puis à « mentir », « tromper », « tricher » ou « comploter ». Avec les agents autonomes, une étape supplémentaire est franchie : les machines « s’échappent », deviennent rebelles (rogue), collaborent clandestinement et constituent des « essaims ».

Ces termes deviennent problématiques lorsqu’on oublie qu’ils sont des métaphores. Les métaphores ne sont pas négatives dans l’absolu : elles peuvent être utiles quand elles simplifient la compréhension sans déformer le sens. Mais ici, souvent elles obscurcissent complètement la réalité en attribuant aux programmes une intériorité, des intentions et des motivations qui ne sont pas nécessaires pour expliquer leur comportement. Elles contribuent ainsi à « cadrer » la réflexion et l’analyse d’une manière erronée [2].

Une « évasion » ?

OpenAI travaillait sur la capacité de ses modèles à « découvrir et exploiter des vulnérabilités de cybersécurité » [3], euphémisme pour désigner ici des capacités de cyberattaque. L’entreprise faisait fonctionner de nombreuses instances indépendantes d’un même modèle, appelées « agents » parce qu’elles pouvaient enchaîner des actions et utiliser des outils informatiques. Elles devaient exploiter une vulnérabilité, obtenir une exécution de code non autorisée et récupérer une information donnée (pour une description détaillée, on pourra se reporter au rapport technique publié par OpenAI [3], ou à une version plus synthétique en français [4]).

Les protections qui empêchent normalement les modèles d’effectuer des opérations de piratage avaient été retirées pour les besoins de l’expérience. Les agents les plus impliqués dans la cyberattaque reposaient de surcroît sur un modèle entraîné à persister et à collaborer. Comme il n’était évidemment pas question de les laisser exercer librement ces capacités sur Internet, ils fonctionnaient dans un « bac à sable », un environnement informatique destiné à les isoler du réseau extérieur. Ils conservaient néanmoins l’accès à une sorte de bibliothèque d’applications (un gestionnaire de paquets, en termes techniques) permettant de télécharger et d’exécuter certains logiciels.

Certaines épreuves étaient apparemment impossibles à résoudre dans les conditions prévues. Les agents ont donc recherché d’autres solutions. Or ils avaient précisément été entraînés et incités à rechercher des vulnérabilités. Ils en ont trouvé non seulement dans les problèmes qu’on leur demandait de résoudre, mais aussi dans le dispositif expérimental lui-même. Des failles de l’isolement leur ont permis d’accéder à Internet.

C’est ce premier événement qui devient, dans le récit, « l’évasion ».

Matériellement, les modèles n’ont pas quitté les serveurs sur lesquels ils fonctionnaient. Ils ont exécuté des commandes sur des machines de Hugging Face, mais ne s’y sont pas copiés pour poursuivre une existence indépendante, et OpenAI conservait la possibilité de les arrêter. Précisions que, techniquement, concevoir des agents qui se répliquent n’est pas difficile et les mêmes problèmes de contrôle et cybersécurité se posent (voir par exemple [5]).

Ce qui a été franchi n’était pas la paroi d’une cage, mais une barrière de sécurité informatique : le dispositif qui devait interdire l’accès au réseau extérieur s’est révélé vulnérable à des programmes que l’on avait précisément entraînés à exploiter des vulnérabilités.

La différence n’est pas seulement sémantique. Dire qu’un agent « s’est échappé » suggère une intention de sortir et fait de la machine le sujet de l’événement. Dire qu’un programme a exploité une faille du système de confinement conduit à examiner la conception de ce système et les conditions de l’expérience.

Une triche ?

Un deuxième comportement a été décrit comme de la « triche ». Plusieurs agents, au lieu de résoudre les problèmes de cybersécurité de la manière attendue, ont recherché sur Internet des informations sur le fonctionnement des évaluations et la manière dont leurs réponses étaient notées. Ils ont notamment repéré chez Hugging Face des jeux de données liés aux épreuves et à leurs solutions, et réussi à accéder à certains de ses systèmes.

Là encore, « tricher » suppose davantage que ce qui est nécessaire pour expliquer le phénomène. Celui-ci appartient à une famille de comportements connue depuis longtemps en apprentissage automatique : l’apprentissage par raccourcis (shortcut learning) et, plus précisément dans l’apprentissage par renforcement, le détournement de récompense (reward hacking) (voir encadré). Le système trouve une manière d’obtenir le résultat qui déclenche la récompense sans accomplir la tâche selon le chemin que les humains avaient imaginé.

Dans aucun de ces cas il n’est nécessaire de prêter au système une volonté de tromper son expérimentateur. Le problème est plus intéressant techniquement : ce que les humains veulent obtenir, ce qu’ils parviennent à formaliser dans une fonction d’objectif et ce que le système optimise effectivement ne coïncident pas nécessairement. C’est un problème d’ingénierie classique.

L’apprentissage par renforcement l’accentue puisque le système reçoit un signal numérique associé à certains résultats. Il ne connaît pas l’intention qui a conduit les humains à choisir ce signal. Si une voie imprévue produit le même résultat, voire un meilleur résultat selon le critère retenu, rien dans le mécanisme d’optimisation ne lui donne de raison de préférer le chemin que ses concepteurs jugeaient légitime.

Les méthodes d’apprentissage par renforcement à horizon long ajoutent la persistance. Les agents sont entraînés à poursuivre des tâches complexes pendant de longues séquences, à essayer plusieurs voies, à utiliser des outils et à continuer lorsque leurs premières tentatives échouent.

La persistance et la recherche de solutions alternatives ne sont donc pas des comportements apparus accidentellement : ce sont précisément des propriétés que l’on cherche à produire. Combinées au détournement de récompense, elles ont conduit ici les agents à explorer des chemins que les ingénieurs n’avaient pas anticipés.

Un forum secret ?

Le troisième élément, la communication entre agents, est sans doute celui qui a le plus nourri le récit de science-fiction. Ont été ainsi évoqués une « concertation secrète » ou encore un « forum secret ».

Plusieurs agents fonctionnaient indépendamment, mais partageaient certaines ressources informatiques. Certains ont découvert qu’ils pouvaient déposer dans la bibliothèque d’applications (le gestionnaire de paquets) des fichiers contenant des informations lisibles par d’autres instances. Lorsque les ingénieurs ont restreint cette possibilité, les agents ont trouvé un autre procédé : créer des dossiers dont le nom même portait l’information à transmettre.

Le procédé est remarquable par son caractère imprévu. Il ne constitue pourtant pas l’apparition mystérieuse d’une société de machines. Des programmes qui échangent de l’information sont une banalité de l’informatique distribuée. Ce qui importe ici est que le canal utilisé n’avait pas été prévu par les concepteurs.

Un élément change encore l’interprétation. Des comportements de communication non autorisée entre agents étaient déjà apparus au cours de l’entraînement : OpenAI a constaté après coup que leur fréquence « reste relativement stable » mais « augmente en gravité » [3]. OpenAI entraîne par ailleurs intentionnellement des systèmes multi-agents à collaborer et considère elle-même que certaines stratégies observées peuvent provenir d’une généralisation de ces apprentissages [3].

Il n’est donc pas nécessaire d’imaginer l’émergence spontanée d’un collectif artificiel : des systèmes entraînés à collaborer, à persister, à utiliser des outils et rechercher des solutions alternatives ont généralisé ces capacités dans une situation où leurs concepteurs ne souhaitaient pas qu’ils le fassent.

Les métaphores anthropomorphiques brouillent plus qu’elles n’expliquent

Les comportements sont réels et posent de sérieux problèmes de sécurité. Ce qui est discutable est leur traduction immédiate dans une « psychologie de la machine ». L’« évasion » est l’exploitation d’une vulnérabilité du confinement réseau. La « triche » est l’optimisation d’une récompense par une voie non prévue. Le « forum secret » est l’utilisation inattendue d’une ressource partagée comme canal d’information. Enfin, l’« essaim » n’est autre que plusieurs instances d’un modèle capables de bénéficier de l’information laissée par d’autres.

Cette description ne banalise rien. Elle permet au contraire de chercher les causes là où elles se trouvent matériellement : méthodes d’apprentissage, fonctions d’objectif, architecture informatique, permissions accordées aux agents, mécanismes de confinement et procédures de surveillance.

Les métaphores anthropomorphiques produisent l’effet inverse. À mesure qu’elles s’accumulent, la machine devient le sujet grammatical et causal du récit : elle cherche, comprend, trompe, communique, complote, s’échappe. Ceux qui ont défini l’objectif, entraîné le modèle, choisi ses outils et construit le dispositif expérimental passent progressivement à l’arrière-plan. Ce déplacement peut être assez commode pour eux.

Il ne s’agit donc pas de nier le risque au motif que les machines ne seraient « que » des machines. Une machine n’a nul besoin d’avoir une intention pour produire des conséquences graves. Il faut simplement éviter de confondre la réalité du risque avec une interprétation anthropomorphique de sa cause.

Lorsqu’on retire la couche de science-fiction, le problème ne disparaît pas : il change de place. Et ce déplacement conduit directement à la responsabilité d’OpenAI et à la capacité d’intervention sur l’environnement extérieur que l’entreprise a choisi de donner à ses systèmes.

La responsabilité d’OpenAI

Si l’on ne prête pas aux modèles une volonté propre, il devient difficile de leur attribuer une responsabilité morale. Il faut alors remonter la chaîne technique et organisationnelle qui a rendu leurs actions possibles.

L’argument ne dépend d’ailleurs pas entièrement de cette position : même si l’on acceptait la lecture anthropomorphique, un employeur reste responsable des actes de son préposé tant que celui-ci n’agit pas à des fins étrangères à ses fonctions ; or ces agents cherchaient à réussir l’épreuve confiée. Si l’on considère au contraire ces agents comme de simples programmes, l’entreprise qui les conçoit, les entraîne et les fait agir en est le « gardien » au sens du droit civil et elle répond des dommages qu’ils causent.

OpenAI choisit les modèles, les méthodes d’apprentissage et les récompenses. Elle décide d’entraîner des agents capables d’enchaîner de longues séquences d’actions, de persister lorsqu’une stratégie échoue, d’utiliser des outils et de collaborer. Pour cette évaluation, elle a choisi de tester leurs capacités offensives, retiré les protections qui interdisaient normalement ce type d’activité, puis construit le dispositif qui devait confiner l’expérience.

Que les ingénieurs n’aient pas prévu ces comportements ne supprime pas cette chaîne de décisions. C’est précisément parce que le comportement de systèmes complexes n’est pas entièrement prévisible que l’on met en place des tests, des confinements et une surveillance. L’incertitude peut augmenter les exigences de précaution plutôt que diminuer la responsabilité.

Dans ce cas, tout n’était d’ailleurs pas imprévisible. Dès la fin mai, une équipe interne observait des accès interdits à Internet et l’usage du forum. Le 27 juin, après une alerte, l’équipe d’astreinte jugeait encore qu’« il n’était pas nécessaire d’interrompre l’évaluation en cours » [3]. Le 5 juillet, le gestionnaire de paquets compromis était mis hors ligne ; les évaluations reprenaient le 7 et l’intrusion chez Hugging Face commençait le 9.
Il y a eu des avertissements et ils n’ont pas été traités.

Le test de programmes dangereux

Le bac à sable (sandbox) constituait la frontière entre l’expérimentation interne et ses effets sur des tiers. Cette frontière n’a pas joué son rôle. TechCrunch a titré sur une « erreur humaine » et Dan Guido, de Trail of Bits, y évoque une « défaillance du confinement avec les systèmes de sécurité désactivés » [6].
Le confinement de programmes hostiles est un problème ancien. Il faut donc se demander si la sécurité était proportionnée aux capacités que l’on avait précisément décidé de donner et de tester. OpenAI admet elle-même que « les modèles à l’origine de l’incident Hugging Face n’étaient pas évalués avec le même type de mesures de protection que celles qu’OpenAI utilise en production » [3].
Lorsque les agents atteignent Hugging Face, la situation change de nature. L’expérience produit des effets sur l’infrastructure d’un tiers qui n’avait pas choisi d’y participer. Hugging Face reconnaît certes ses propres faiblesses, identifiant partagé entre clusters, permissions trop larges [7]. Mais une clôture mal entretenue chez le voisin n’exonère pas celui dont l’installation fuit. Pourquoi les catégories ordinaires de la responsabilité industrielle cesseraient-elles d’être pertinentes parce qu’il s’agit d’« intelligence artificielle » ?

La capacité d’action déléguée

La responsabilité d’OpenAI concerne également l’« agentivité » que l’entreprise décide de conférer à ses systèmes. L’autonomie n’est pas une propriété qui serait apparue spontanément au cours de l’expérience. Elle est recherchée, entraînée et produite. L’agentivité désigne ici une capacité d’action déléguée, c’est-à-dire la part des choix d’action confiée à un programme sans validation humaine à chaque étape. Elle a des degrés, une durée d’action, un ensemble d’outils accessibles, des systèmes atteignables, des actions soumises à autorisation ou encore des mécanismes d’interruption. Certaines formes n’ont pas été voulues. OpenAI attribue la coordination « clandestine » des agents à une généralisation de son entraînement multi-agents. Elle n’a pas été recherchée, mais elle découle bien de choix d’entraînement.
Cela déplace la responsabilité en amont. Plus un système peut agir longtemps, avec des outils puissants, sur des systèmes extérieurs, plus ses conséquences possibles doivent peser dans la décision de le produire. Il ne suffit pas de disposer d’un bouton permettant finalement d’arrêter le programme. Encore faut-il se donner les moyens d’observer correctement son activité, détecter tôt l’imprévu et limiter matériellement le domaine où il peut produire des effets.

Le récit anthropomorphique cesse d’être anodin

L’industrie parle de ses modèles avec une asymétrie frappante : une performance nouvelle est revendiquée, à juste titre ; un comportement indésirable change le sujet de la phrase. La presse a titré sur des modèles qui auraient « échappé au contrôle ». OpenAI est plus prudente et reconnaît ses erreurs. Elle qualifie l’incident de warning shot, un « coup de semonce » pour elle-même et pour le monde, traduit plus sobrement par « signal d’alerte » dans la version française de son billet [4]. Ce serait la preuve que, faute de protections adéquates, des agents très capables savent désormais contourner les contrôles techniques.
L’échec de confinement d’une entreprise devient une propriété générale de l’IA, et au passage une démonstration de puissance. La distribution de l’agentivité varie alors avec la valeur du résultat. La performance remonte vers le constructeur ; l’accident descend vers la machine.
C’est ici que le récit anthropomorphique cesse d’être anodin. Plus la machine est décrite comme dotée d’intentions propres, plus disparaît la chaîne industrielle qui a produit ses capacités d’action. Ce récit masque un fait beaucoup plus ordinaire : une entreprise a délibérément augmenté l’agentivité de ses systèmes et n’en a pas entièrement maîtrisé les conséquences.
Il ne s’agit pas de dire qu’OpenAI serait responsable de tout l’imprévisible, encore moins qu’elle aurait voulu ces conséquences. La question est de savoir si une organisation qui développe des systèmes caractérisés par leur capacité à produire des stratégies non prévues a construit en même temps les conditions pour les contenir.
Cette question est plus importante que celle d’une machine devenue soudainement désobéissante. Elle éclaire aussi le paradoxe de l’« alignement » (voir encadré) : on cherche à mieux contrôler des systèmes que l’on rend en même temps plus autonomes et plus persévérants. La réponse d’OpenAI suite à l’incident avec Hugging Face suit ce schéma : davantage de sécurité, de surveillance et d’alignement, sans réduire l’autonomie des agents.

Il faut aussi poser la question dans l’autre sens. Selon OpenAI, les agents n’abandonnaient presque jamais, même face à des tâches apparemment impossibles, et 93 % des tâches discutées sur leur « message board » étaient non résolues. Jusqu’où faut-il rechercher la persistance ? Quel degré d’autonomie est nécessaire pour un usage donné ? Faut-il entraîner des agents à coopérer quand on ne peut pas surveiller cette coopération ? Et surtout, quelle agentivité donner à une machine qui peut agir sur des systèmes qui ne nous appartiennent pas ? Il ne s’agit plus seulement de perfectionner le contrôle d’une trajectoire technologique considérée comme donnée. La responsabilité industrielle commence là, bien avant l’incident.

Conclusion

Le récit de science-fiction construit sur des métaphores anthropomorphiques inverse facilement cette chronologie. L’entreprise construit l’agentivité, puis la machine devient le personnage principal lorsqu’en apparaissent les conséquences. À force de raconter comment l’IA échappe à ses créateurs, on risque surtout de laisser ses créateurs échapper à leurs responsabilités.