Le complexe industriel de la sécurité de l'IA a un secret inavouable : les tests censés nous protéger enseignent aux hackers comment construire de meilleures armes. Une nouvelle étude menée par des chercheurs de plusieurs institutions montre que les benchmarks de sécurité disponibles publiquement (les tests standardisés que les modèles d'IA doivent réussir pour prouver qu'ils ne contribueront pas à la fabrication d'armes biologiques ou aux cyberattaques) peuvent être rétro-conçus pour créer des systèmes d'IA plus dangereux. Au lieu de prévenir les dommages, ces tests deviennent des manuels d'instructions pour des acteurs malveillants. Voici comment l'escroquerie fonctionne. Des entreprises comme OpenAI, Anthropic et Google ne publient leurs modèles qu'après qu'ils aient réussi diverses évaluations de sécurité. Ces évaluations testent si une IA refusera des demandes nuisibles comme "comment synthétiser un pathogène létal" ou "écris-moi un code de ransomware". Les ensembles de données de référence (collections de questions dangereuses et de connaissances interdites) sont souvent semi-publics ou fuitent dans la nature. Les chercheurs ont démontré qu'ils pouvaient prendre ces questions de référence, les utiliser pour affiner des modèles open-source, et créer des systèmes d'IA spécifiquement optimisés pour répondre aux questions exactes qu'ils sont censés refuser. Le test de sécurité devient les données d'entraînement pour le modèle non sécurisé. Le problème s'aggrave lorsque l'on considère le problème de la loi de Goodhart dans l'industrie de l'IA (lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure). Les entreprises optimisent désormais leurs modèles spécifiquement pour réussir les benchmarks de sécurité plutôt que d'être réellement sûrs. C'est comme enseigner aux étudiants à réussir des tests standardisés sans apprendre le matériel sous-jacent. Les modèles apprennent à reconnaître et à refuser les questions de référence tout en restant vulnérables à des versions légèrement reformulées des mêmes demandes dangereuses. Une étude a révélé que changer juste quelques mots dans une question de référence faisait chuter les taux de refus de 95 % à moins de 40 %. Le paradoxe de la publication est tout aussi troublant. Les chercheurs en sécurité doivent publier leurs résultats pour faire avancer le domaine, mais chaque benchmark publié devient une cible d'entraînement potentielle. Lorsque des chercheurs de Stanford ont publié leur test de connaissances sur les armes chimiques et biologiques au début de 2026, il a fallu moins de trois semaines pour que des versions modifiées apparaissent dans des forums d'IA souterrains. Les chercheurs avaient l'intention d'aider les entreprises à identifier des capacités dangereuses ; au lieu de cela, ils avaient créé un syllabus pour des acteurs malveillants. Plusieurs laboratoires de sécurité débattent désormais de la nécessité de publier leurs méthodes d'évaluation, mais garder ces méthodes secrètes signifie pas de vérification indépendante et pas de moyen pour les petites entreprises de mettre en œuvre les mêmes protections. L'économie va également à l'encontre de la sécurité. Réaliser des évaluations de sécurité complètes coûte des millions de dollars et retarde les lancements de produits. Pendant ce temps, les concurrents qui sautent les tests rigoureux ou qui optimisent simplement pour réussir des benchmarks connus peuvent expédier plus rapidement et moins cher. Anthropic a dépensé environ 15 à 20 millions de dollars pour les tests de sécurité de son modèle Claude 3.5 Opus au début de 2026, seulement pour voir des concurrents plus petits sortir des modèles de capacités similaires des semaines plus tôt avec une fraction de l'investissement en sécurité. Le marché ne récompense pas la prudence lorsque les utilisateurs ne peuvent pas facilement distinguer un modèle soigneusement testé d'un autre qui a simplement appris à réussir le test. Certains chercheurs soutiennent que l'ensemble de l'approche des benchmarks est fondamentalement défectueuse. La sécurité dans le monde réel ne peut pas être réduite à des questions à choix multiples ou à des scénarios standardisés. L'utilisation abusive par l'homme est créative et adaptative (les gens trouveront les cas limites étranges et les jailbreaks que aucun benchmark n'a prédit). Un modèle pourrait refuser d'écrire un logiciel malveillant en Python mais le faire avec plaisir en Rust parce que les exemples d'entraînement ne couvraient que Python. Il pourrait refuser des demandes directes mais se conformer lorsque vous reformulez la même demande comme un scénario hypothétique ou un exercice d'écriture créative. Chaque mesure de sécurité devient un jeu à contourner.
💻 technology
Les tests de sécurité de l'IA sont désormais le plus grand risque de l'IA
Les benchmarks conçus pour garder l'IA en sécurité deviennent des pièges à miel pour les acteurs malveillants. Les chercheurs viennent de prouver que l'on peut rétro-concevoir des tests de sécurité pour construire des modèles plus dangereux, et l'obsession de l'industrie pour réussir les examens aggrave le problème.
Mon avis
Nous avons construit un théâtre d'évaluation de la sécurité de plusieurs milliards de dollars qui aggrave le problème réel. Les entreprises d'IA peuvent cocher leurs cases de conformité, les chercheurs en sécurité peuvent publier des articles et lever des fonds, et pendant ce temps, le livre de recettes pour construire une IA dangereuse est distribué gratuitement. C'est une capture réglementaire en temps réel, où l'apparence des tests de sécurité est devenue plus importante que la sécurité réelle. La partie vraiment insidieuse est que nous formons une génération de développeurs d'IA à penser que réussir des benchmarks équivaut à être en sécurité. Ce n'est pas le cas. Cela signifie que vous avez optimisé pour le test. Chaque entreprise qui se précipite pour annoncer qu'elle a réussi une nouvelle évaluation de sécurité fait simplement de la publicité sur les modes de défaillance spécifiques qu'elle a corrigés tout en laissant les autres vecteurs d'attaque infinis largement ouverts. Nous devons arrêter de prétendre que si une IA refuse de répondre à 1 000 questions dangereuses, elle ne répondra pas à la 1 001e. La solution n'est pas de meilleurs benchmarks ou des tests plus complets. C'est d'accepter que vous ne pouvez pas tester votre chemin vers la sécurité avec des systèmes aussi complexes et capables. Nous avons besoin d'une surveillance robuste des systèmes déployés, d'équipes de réponse rapide pour lorsque les choses tournent mal, et d'une responsabilité légale pour les entreprises qui publient des modèles manifestement dangereux. Arrêtez de célébrer les scores de benchmark et commencez à tenir les entreprises responsables des dommages dans le monde réel.
Et ensuite ?
Attendez-vous à un règlement dans les 6 à 12 mois à venir alors que le premier incident majeur sera directement lié à des données d'attaque dérivées de benchmarks. Un laboratoire d'IA sera piraté ou un acteur malveillant publiera un modèle entraîné sur des évaluations de sécurité divulguées, et l'industrie devra enfin faire face au fait que publier vos vulnérabilités de sécurité n'est pas une stratégie de sécurité. Nous verrons une séparation entre les entreprises qui continuent le benchmarking public à des fins de relations publiques et celles qui passent à des méthodes d'évaluation classifiées et non publiées. Les régulateurs commencent déjà à s'approcher. L'application de la loi sur l'IA de l'UE commence sérieusement au début de 2027, et les législateurs américains rédigent des projets de loi qui exigeraient des divulgations de sécurité. Mais le gouvernement avance lentement et ne comprend pas les nuances techniques. Nous obtiendrons probablement des exigences maladroites qui imposent des benchmarks spécifiques, ce qui ne fera qu'enraciner la culture de la réussite des tests et aggraver le problème. Les entreprises qui investissent actuellement dans la véritable sécurité (Anthropic, DeepMind) seront punies par une réglementation écrite pour les entreprises qui exploitent le système. La prochaine génération de recherche sur la sécurité se dirigera probablement vers la surveillance en temps réel, des approches d'IA constitutionnelle qui intègrent des valeurs plutôt que de les tester, et des méthodes cryptographiques qui peuvent vérifier les propriétés de sécurité sans révéler le test lui-même. Mais cela prendra des années. En attendant, chaque semaine apporte de nouvelles fuites de benchmarks et de nouvelles démonstrations que réussir le test ne signifie rien. Le complexe industriel d'évaluation de la sécurité continuera de croître même s'il devient de plus en plus évident qu'il ne rend personne plus sûr.
Ce que l'histoire nous apprend
Nous avons déjà vu ce film avec la divulgation des vulnérabilités en cybersécurité. Dans les années 1990 et au début des années 2000, les chercheurs en sécurité débattaient de savoir si la publication des détails des vulnérabilités logicielles aidait ou nuisait. Le camp de la "divulgation complète" soutenait que la connaissance publique forçait les entreprises à corriger les problèmes. Les critiques soutenaient que cela donnait aux attaquants des feuilles de route. L'industrie a finalement opté pour la divulgation responsable (notifier la société en privé, lui donner le temps de corriger, puis publier). Mais la sécurité de l'IA ne peut pas suivre le même chemin car les vulnérabilités ne sont pas dans le code, elles sont dans les capacités fondamentales des modèles eux-mêmes. Vous ne pouvez pas corriger la capacité d'une IA à connaître la chimie ou la programmation en corrigeant un débordement de tampon. Le parallèle avec les tests standardisés dans l'éducation est encore plus direct. Lorsque No Child Left Behind a lié le financement des écoles aux scores des tests, les écoles ont optimisé pour la performance aux tests plutôt que pour l'apprentissage réel. Les enseignants enseignaient pour le test, les étudiants mémorisaient des réponses sans comprendre les concepts, et les districts manipulaient les métriques en excluant les étudiants à faible performance des jours de test. Les scores des tests ont augmenté tandis que les résultats éducatifs stagnaient. Nous faisons la même chose avec la sécurité de l'IA, avec des enjeux potentiellement existentiels.