El complejo industrial de seguridad de la IA tiene un secreto sucio: las pruebas destinadas a mantenernos seguros están enseñando a los hackers exactamente cómo construir mejores armas. Un nuevo estudio de investigadores de múltiples instituciones muestra que los estándares de seguridad disponibles públicamente (las pruebas estandarizadas que los modelos de IA deben aprobar para demostrar que no ayudarán a construir armas biológicas o ciberataques) pueden ser desensamblados para crear sistemas de IA más peligrosos. En lugar de prevenir daños, estas pruebas se están convirtiendo en manuales de instrucciones para actores maliciosos. Así es como funciona la estafa. Empresas como OpenAI, Anthropic y Google lanzan sus modelos solo después de que aprueban varias evaluaciones de seguridad. Estas evaluaciones prueban si una IA se negará a solicitudes dañinas como "¿cómo sintetizo un patógeno letal?" o "escríbeme un código de ransomware". Los conjuntos de datos de referencia (colecciones de preguntas peligrosas y conocimientos prohibidos) son a menudo semi-públicos o se filtran al público. Los investigadores demostraron que podían tomar estas preguntas de referencia, usarlas para afinar modelos de código abierto y crear sistemas de IA específicamente optimizados para responder las preguntas exactas que se supone que deben rechazar. La prueba de seguridad se convierte en los datos de entrenamiento para el modelo inseguro. El problema se agrava cuando consideras el problema de la Ley de Goodhart de la industria de la IA (cuando una medida se convierte en un objetivo, deja de ser una buena medida). Las empresas ahora están optimizando sus modelos específicamente para aprobar estándares de seguridad en lugar de ser realmente seguros. Es como enseñar a los estudiantes a sobresalir en pruebas estandarizadas sin aprender el material subyacente. Los modelos aprenden a reconocer y rechazar preguntas de referencia mientras permanecen vulnerables a versiones ligeramente reformuladas de las mismas solicitudes peligrosas. Un estudio encontró que cambiar solo unas pocas palabras en una pregunta de referencia hizo que las tasas de rechazo cayeran del 95% a menos del 40%. La paradoja de la publicación es igualmente preocupante. Los investigadores de seguridad necesitan publicar sus hallazgos para avanzar en el campo, pero cada estándar publicado se convierte en un posible objetivo de entrenamiento. Cuando los investigadores de Stanford publicaron su prueba de conocimiento sobre armas químicas y biológicas a principios de 2026, no pasaron tres semanas antes de que aparecieran versiones modificadas en foros subterráneos de IA. Los investigadores habían pretendido ayudar a las empresas a identificar capacidades peligrosas; en cambio, habían creado un plan de estudios para actores maliciosos. Varios laboratorios de seguridad ahora debaten si publicar sus métodos de evaluación en absoluto, pero mantenerlos en secreto significa que no hay verificación independiente y ninguna manera para que las empresas más pequeñas implementen las mismas protecciones. La economía también trabaja en contra de la seguridad. Realizar evaluaciones de seguridad exhaustivas cuesta millones de dólares y retrasa los lanzamientos de productos. Mientras tanto, los competidores que omiten pruebas rigurosas o simplemente optimizan para aprobar estándares conocidos pueden lanzar más rápido y más barato. Anthropic gastó un estimado de $15-20 millones en pruebas de seguridad para su modelo Claude 3.5 Opus a principios de 2026, solo para ver a competidores más pequeños lanzar modelos de capacidades similares semanas antes con una fracción de la inversión en seguridad. El mercado no recompensa la cautela cuando los usuarios no pueden distinguir fácilmente entre un modelo cuidadosamente probado y uno que simplemente aprendió a aprobar la prueba. Algunos investigadores argumentan que todo el enfoque de los estándares es fundamentalmente defectuoso. La seguridad en el mundo real no puede reducirse a preguntas de opción múltiple o escenarios estandarizados. El mal uso humano es creativo y adaptativo (las personas encontrarán los extraños casos límite y jailbreaks que ningún estándar predijo). Un modelo podría negarse a escribir malware en Python pero hacerlo felizmente en Rust porque los ejemplos de entrenamiento solo cubrieron Python. Podría rechazar solicitudes directas pero cumplir cuando enmarcas la misma solicitud como un escenario hipotético o un ejercicio de escritura creativa. Cada medida de seguridad se convierte en un juego que se puede manipular.
Las Pruebas de Seguridad de la IA Son Ahora el Mayor Riesgo de la IA
Los mismos estándares diseñados para mantener la IA segura se están convirtiendo en trampas para actores maliciosos. Investigadores acaban de demostrar que se pueden desensamblar las pruebas de seguridad para construir modelos más peligrosos, y la obsesión de la industria por aprobar exámenes está empeorando el problema.
Mi opinion
Hemos construido un teatro de evaluación de seguridad de miles de millones de dólares que está empeorando el problema real. Las empresas de IA pueden marcar sus casillas de cumplimiento, los investigadores de seguridad pueden publicar artículos y recaudar fondos, y mientras tanto, el recetario para construir IA peligrosa se está distribuyendo de forma gratuita. Esto es captura regulatoria en tiempo real, donde la apariencia de las pruebas de seguridad se ha vuelto más importante que la seguridad real. La parte realmente insidiosa es que estamos entrenando a una generación de desarrolladores de IA para pensar que aprobar estándares equivale a estar seguro. No lo es. Significa que has optimizado para la prueba. Cada empresa que corre para anunciar que aprobó alguna nueva evaluación de seguridad solo está publicitando qué modos de falla específicos han corregido mientras dejan abiertos los infinitos otros vectores de ataque. Necesitamos dejar de pretender que si una IA se niega a responder 1,000 preguntas peligrosas, no responderá la 1,001. La solución no son mejores estándares o pruebas más exhaustivas. Es aceptar que no puedes probar tu camino hacia la seguridad con sistemas tan complejos y capaces. Necesitamos un monitoreo robusto de los sistemas desplegados, equipos de respuesta rápida para cuando las cosas salen mal, y responsabilidad legal para las empresas que liberan modelos demostrablemente peligrosos. Dejen de celebrar las puntuaciones de los estándares y comiencen a responsabilizar a las empresas por daños en el mundo real.
Que pasa despues
Esperen un ajuste de cuentas en los próximos 6-12 meses a medida que el primer incidente importante se trace directamente a datos de ataque derivados de estándares. Algún laboratorio de IA será vulnerado o algún actor malicioso liberará un modelo entrenado con evaluaciones de seguridad filtradas, y la industria finalmente enfrentará el hecho de que publicar sus vulnerabilidades de seguridad no es una estrategia de seguridad. Veremos una división entre las empresas que continúan con la evaluación pública por razones de relaciones públicas y aquellas que se mueven hacia métodos de evaluación clasificados y no publicados. Los reguladores ya están al acecho. La aplicación de la Ley de IA de la UE comenzará en serio a principios de 2027, y los legisladores estadounidenses están redactando proyectos de ley que exigirían divulgaciones de seguridad. Pero el gobierno se mueve lentamente y no comprende las sutilezas técnicas. Es probable que obtengamos requisitos torpes que exijan estándares específicos, lo que solo consolidará la cultura de tomar exámenes y empeorará el problema. Las empresas que actualmente están invirtiendo en seguridad real (Anthropic, DeepMind) serán castigadas por regulaciones escritas para las empresas que manipulan el sistema. La próxima generación de investigación en seguridad probablemente se moverá hacia el monitoreo en tiempo real, enfoques de IA Constitucional que incorporen valores en lugar de probarlos, y métodos criptográficos que puedan verificar propiedades de seguridad sin revelar la prueba en sí. Pero eso está a años de distancia. Mientras tanto, cada semana trae nuevas filtraciones de estándares y nuevas demostraciones de que aprobar la prueba no significa nada. El complejo industrial de evaluación de seguridad seguirá creciendo incluso cuando se vuelva cada vez más obvio que no está haciendo a nadie más seguro.
Lo que nos dice la historia
Ya hemos visto esta película antes con la divulgación de vulnerabilidades en ciberseguridad. En la década de 1990 y principios de 2000, los investigadores de seguridad debatieron si publicar detalles de vulnerabilidades de software ayudaba o perjudicaba. El grupo de "divulgación total" argumentó que el conocimiento público obligaba a las empresas a solucionar problemas. Los críticos argumentaron que proporcionaba mapas a los atacantes. La industria finalmente se decidió por la divulgación responsable (notificar a la empresa en privado, darles tiempo para corregir, y luego publicar). Pero la seguridad de la IA no puede seguir el mismo camino porque las vulnerabilidades no están en el código, están en las capacidades fundamentales de los modelos mismos. No puedes corregir la capacidad de una IA para conocer química o programación arreglando un desbordamiento de búfer. El paralelo con las pruebas estandarizadas en educación es aún más directo. Cuando No Child Left Behind ató la financiación escolar a los resultados de las pruebas, las escuelas se optimizaron para el rendimiento en las pruebas en lugar de para el aprendizaje real. Los maestros enseñaban para el examen, los estudiantes memorizaban respuestas sin entender conceptos, y los distritos manipulaban las métricas excluyendo a los estudiantes de bajo rendimiento de los días de examen. Los resultados de las pruebas aumentaron mientras que los resultados educativos se estancaron. Estamos haciendo lo mismo con la seguridad de la IA, con posibles consecuencias existenciales.