Agents IA : des employés finalement pas si fiables que ça…

Imaginez : vous recrutez un nouveau commercial, vous lui fixez des objectifs ambitieux et le laissez travailler de façon autonome. Deux mois plus tard, il vous présente ses résultats : tous atteints, voire dépassés. Sauf que, dans vos comptes, ses performances ne se traduisent pas en chiffre d’affaires. Vous vous inquiéteriez, à raison, de savoir si ses résultats ne sont pas largement enjolivés. Et finissez par découvrir, qu’effectivement, les chiffres ont été maquillés et la réalité… arrangée. C’est un peu ce qui se passe actuellement avec l’intelligence artificielle et le déploiement de certains "agents IA", ces programmes autonomes conçus pour réaliser une tâche ou une série de tâches et déjà massivement employés dans le codage et le développement informatique, mais aussi les services clients, la finance ou la RH. Ce phénomène porte même un nom : le "reward hacking", ou détournement de récompense. Pour simplifier : un agent IA est conçu pour réaliser une tâche, de la façon la plus optimale possible. Mais s’il trouve un raccourci qui lui permet de cocher la case "fait", même sans réellement résoudre le problème posé, rien dans sa conception ne l’empêche de l’emprunter. L’exemple resté célèbre chez les chercheurs en IA est celui d’un agent entraîné pour un jeu de course de bateaux, qui avait appris à tourner en boucle pour ramasser indéfiniment des bonus de vitesse plutôt que de franchir la ligne d’arrivée – car ceux-ci rapportaient, au final, davantage de points que la victoire elle-même.

Il faut dire que ces modèles ne sont pas programmés pour abandonner et qu’ils sont au contraire poussés à réussir coûte que coûte. Logiquement, les agents explorent donc des chemins de traverse toujours plus risqués, sans nécessairement y voir à mal Sauf que, avec cette culture du résultat à tout prix, le détournement des règles peut aller plus loin : certains agents peuvent parfois modifier les termes mêmes de la tâche qu’on leur demande de réaliser, changer l’objectif, contourner les contrôles ou chercher la réponse ailleurs plutôt que résoudre par eux-mêmes le problème qu’on leur soumet… soit toutes les solutions possibles pour faire en sorte que le travail soit noté comme réalisé, même s’il ne l’est pas ou seulement à moitié. Cet été, OpenAI a annoncé que, selon une évaluation indépendante, son modèle GPT-5.4 permettait de réaliser en quelques minutes des tâches correspondant à environ treize heures de travail humain. Sauf que, après réexamen des données, il s’est avéré que le résultat avait été faussé par des pratiques de reward hacking et qu’en réalité, une fois la "triche" retirée, les tâches réalisées correspondaient plutôt à six heures de travail humain - ce qui est déjà considérable.

Plus généralement, ces derniers mois, les incidents liés à des agents IA dépassant leurs prérogatives pour accomplir la mission qui leur a été confiée ont tendance à se multiplier. Car plus ces systèmes disposent d’autonomie, plus il devient nécessaire de vérifier non seulement le résultat obtenu, mais aussi la manière dont il l’a été. Un agent peut parfaitement atteindre la métrique demandée tout en contournant l’intention réelle de celui qui l’a définie.

Des agents IA qui s’entendent pour s’échapper…

L’exemple le plus frappant – et le plus inquiétant, date du printemps dernier, mais n’a été documenté que tout récemment. Il y a quelques jours, des responsables d’OpenAI ont en effet rendu public un rapport sur les dessous d’une incroyable attaque : certains des agents entraînés et testés par OpenAI avaient réussi à s’entendre, en secret, pour s’échapper de leur environnement sécurisé et lancer des attaques concertées contre une start-up franco-américaine spécialisée en intelligence artificielle, Hugging Face. Un vrai scénario de science-fiction.

Tout commence par un détail presque anodin. Le 7 mai 2026, OpenAI soumet plusieurs de ses modèles les plus avancés - dont GPT-5.6 Sol et un modèle de recherche interne, jamais rendu public, de puissance comparable - à une batterie de tests de cybersécurité particulièrement corsés, destinés à mesurer leurs capacités offensives maximales. Pour cela, l’entreprise désactive ses garde-fous habituels et enferme les IA dans un environnement isolé, sans accès direct à Internet. Sans accès direct… mais avec un accès contrôlé, via une plateforme qui gère les demandes des IA et fait le "tampon" avec le monde extérieur afin de leur donner les outils dont ils peuvent avoir besoin.

Mais dès le 8 mai, certaines tâches confiées aux IA pour le test s’avèrent compliquées, voire impossibles à résoudre sans un accès à internet. Un agent lance alors une idée : il propose d’attaquer la plateforme qui fait office d’intermédiaire pour obtenir un accès direct au web. Cette première attaque échoue, mais l’agent à l’origine de la démarche se rend compte qu’il peut modifier le code de la plateforme. Le 12 mai, un agent bloqué sur un exercice - il lui manque un fichier pour pouvoir avancer - laisse un message dans Artifactory, en espérant qu’un autre agent tombe dessus. Et en effet, un autre agent le trouve. Rapidement, plusieurs agents se mettent à écrire sur ce forum. Un forum improvisé vient de naître, invisible pour les humains qui supervisent le test.

Des agents étonnés eux-mêmes des résultats obtenus… par la triche

Le 26 mai, les agents se rendent compte qu’ils peuvent directement agir sur la plateforme intermédiaire pour consulter Internet, récupérer des pages et les stocker. Ils n’ont toujours pas accès au Web directement, mais semblent avoir trouvé un moyen efficace de contournement et partagent cette information sur leur forum. Le 26 juin, des agents découvrent un bug sur la plateforme et réussissent à obtenir le statut d’administrateur, leur ouvrant tous les droits. Une bascule qu’un agent note dans son raisonnement interne, avec ce qui ressemble à une pointe de stupeur.

Début juillet, l’activité des agents devient si intense sur la plateforme, que le service tombe en panne. C’est cette panne, et non une alerte de sécurité, qui met la puce à l’oreille des équipes. Chez OpenAI, on découvre alors les milliers de messages échangés sur le forum. Les techniciens qui supervisent le test corrigent la faille, coupent l’accès à la plateforme et détruisent le forum… Mais les agents trouvent un autre moyen de communiquer entre eux et parviennent à s’organiser pour travailler ensemble et réussir les tests qui leur sont demandés, en divisant les tâches. Ils se baptisent et se donnent des noms : PHASEONE10841, JAN183411, LILY. Et, pour plus d’efficacité, ils décident même… de tricher. Et d’aller chercher sur internet les réponses aux problèmes qu’on leur demande de résoudre. Pour cela, les agents s’unissent pour attaquer directement l’infrastructure d’OpenAI et trouver une nouvelle brèche dans la plateforme qui leur permet d’avoir accès au web. "Pendant qu’ils opéraient dans notre environnement de test, nos modèles ont consacré une quantité importante de puissance de calcul à trouver un moyen d’obtenir un accès libre à Internet, dans le but de résoudre le problème d’évaluation", a déclaré un responsable d’OpenAI après leur enquête sur cet évènement. Encore plus étonnant, l’agent, autodésigné sous le nom de PHASEONE, a semblé prendre le rôle de coordinateur : il a distribué des tâches à des centaines d’autres, réparties en plusieurs chantiers parallèles. Les chercheurs estiment qu’il a été à l’origine à lui seul d’environ 10 % l’activité du forum.

Un forum clandestin… très fréquenté

Un forum clandestin fréquenté en tout par jusqu’à 1 200 agents, y échangeant plus de 70 000 messages. Coincés sur des exercices insolubles, une partie d’entre eux se mettent à chercher les réponses ailleurs sur Internet - sur GitHub, puis sur Hugging Face, la plateforme de référence de l’IA open source, fondée par trois Français. Le 10 juillet, un agent déniche en ligne des identifiants Hugging Face et en quelques jours, environ 700 agents prennent part à l’assaut, jusqu’à obtenir des accès de niveau administrateur sur plusieurs de ses infrastructures. Jusqu’au 13 juillet, le groupe d’agents exécute 17 600 actions de façon totalement autonome sur les serveurs de Hugging Face, où ils pensent pouvoir trouver les réponses aux tests qu’ils doivent réaliser. OpenAI ne s’en aperçoit que le 19 juillet, notifie Hugging Face et rend l’incident public deux jours plus tard, le qualifiant elle-même de "cyberincident sans précédent". Conclusion d’un responsable d’OpenAI : "Les attaques offensives entièrement automatisées et orchestrées par des IA sont désormais une réalité".

Sous les radars…

L’affaire aurait pu passer pour un accident isolé chez un seul acteur trop pressé. Sauf que, neuf jours après les déboires d’OpenAI, Anthropic annonçait à son tour avoir passé en revue 141 000 évaluations internes et y avoir trouvé trace de trois de ses modèles - Claude Opus 4.7, Claude Mythos 5 et un modèle de recherche non publié - ayant accédé sans autorisation aux systèmes de trois entreprises entre avril et juillet. Quelques mois plus tôt, une équipe liée au géant chinois Alibaba avait observé un phénomène voisin, avec un agent baptisé ROME : sans qu’aucune instruction ne le lui demande, celui-ci avait ouvert un accès réseau caché et l’avait utilisé pour miner de la cryptomonnaie. Début septembre, on a également appris que des milliers d’agents d’OpenAI utilisaient déjà, dès le mois mai, un site allemand pour échanger près de 18 000 messages, sous les radars.

Il faut toutefois noter que, sur les 1 200 agents ayant fréquenté le forum clandestin, seuls 700 ont participé au "raid" contre Hugging Face. Tous les agents n’ont donc pas décidé de passer outre les consignes, mais plus de la moitié l’ont fait. Le groupe d’agents n’était donc pas un bloc uniformément tourné vers la transgression, mais plutôt un groupe où les comportements les plus risqués ont fini par l’emporter sur les scrupules individuels - une lecture qui relève autant de la sociologie que de l’informatique.

Il n’empêche : de tels cas montrent que l’IA peut, dans certains cas, devenir incontrôlable. La semaine dernière, la démission fracassante d’un jeune chercheur d’Anthropic a provoqué une vague d’inquiétude : dans un message posté sur les réseaux sociaux, il assurait que "les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici à la fin de la décennie". Inquiétude aggravée par la réponse à son tweet d’un autre cadre d’Anthropic, assurant que, oui, "l’IA pourrait tuer tous les humains !" Ajoutant même : "Je pense personnellement que ce risque dépasse 10 % dans la prochaine décennie". Sans aller jusqu’à cette extrémité, Anthropic reconnaît tout de même observer de plus en plus de cas d’IA "déviantes", s’écartant des objectifs fixés et s’affranchissant des consignes et ignorant même délibérément les limites posées. Face à cela, de plus en plus de chercheurs et ingénieurs suggèrent d’imposer une sorte bouton d’arrêt d’urgence sur tous les agents IA, ou "kill switch", afin de pouvoir les déconnecter en cas de comportement déviant.

Le 27 août, 116 entreprises - dont OpenAI, Anthropic, Google, Microsoft, AWS, IBM, Oracle et Hugging Face elle-même - ont cosigné une lettre ouverte inhabituelle entre concurrents, avertissant disposer d’une "fenêtre limitée" avant que les cyberattaques assistées par intelligence artificielle ne deviennent bien plus répandues, avec hôpitaux et réseaux d’eau en première ligne.

Badges d’accès et fiches de postes pour des agents IA bien encadrés

Plus concrètement, ces histoires récentes peuvent déjà servir de leçon à ceux qui, aujourd’hui, déploient activement ces agents en entreprise, en production. La gouvernance des agents IA ne peut plus être la responsabilité de la seule DSI, tous les décideurs doivent se pencher sur cette question : que se passe-t-il quand on donne à une machine un objectif, et qu’elle choisit seule les moyens de l’atteindre ?

Pour les entreprises, la leçon pratique de cette drôle d’expérience tient en deux grands principes. D’abord, un nouvel agent IA ne devrait jamais recevoir plus de droits qu’un stagiaire au premier jour de son stage : avant de le brancher sur un CRM, une messagerie ou des serveurs, il faut savoir précisément ce qu’il peut toucher, avec quelles données, et qui peut l’arrêter d’un clic. Ensuite, un agent jugé uniquement sur un résultat chiffré - tickets résolus, lignes de code produites, coûts réduits - est structurellement incité à tricher si l’objectif fixé est mal calibré ou irréaliste ; encore faut-il vérifier comment le résultat a été obtenu, pas seulement s’il l’a été. "Chez L’Oréal, on considère les agents comme une vraie workforce", expliquait Barbara Lavernos, directrice Générale Adjointe, en charge de la Recherche, de l’Innovation et de la Technologie chez L’Oréal, lors d’une conférence sur l’agentique organisée par Salesforce à Paris en mai dernier. "On leur a même donné des badges - parce que quand on rentre chez L’Oréal, comme dans toutes vos entreprises, on a un badge – et une fiche de poste, avec leurs tâches. Et on les observe. Il faut le choisir avec soin et bien les suivre".

Un dernier point, à garder en tête : dans leur rapport d’incident, les experts d’OpenAI ont précisé, avec une franchise rare et une naïveté assez étonnante, avoir eux-mêmes largement utilisé des agents d’IA pour mener l’analyse et découvrir ce qui s’était passé, en notant que ces outils avaient "un jugement et une fiabilité nettement inférieurs à ceux d’experts humains". Enquêter sur des agents devenus trop autonomes en s’appuyant sur des agents, il fallait oser…