Escribe una pregunta en Claude, ChatGPT o Gemini y algo extraño sucede: la empresa que construyó el sistema no puede decirte, paso a paso, por qué respondió de la manera en que lo hizo. No porque el código sea secreto. El código a menudo se publica. El problema es más profundo. Un modelo de lenguaje grande no es una lista de instrucciones que un programador escribió; es un enredo de miles de millones de pesos numéricos que se ajustaron durante el entrenamiento, y nadie se sentó a decidir qué debería hacer cada peso individual. Andrej Karpathy capturó este cambio hace años cuando observó que las redes neuronales no se programan en el sentido tradicional, sino que se cultivan, entrenan y evolucionan, y el creador de Keras, Francois Chollet, lo expresó aún más claramente, escribiendo que una red neuronal profunda no contiene ningún algoritmo en absoluto, ya que está completamente definida por pesos que se aprendieron automáticamente en lugar de ser escritos a mano. Ese es el núcleo de una disciplina llamada interpretabilidad mecanicista, y se ha convertido silenciosamente en uno de los campos más trascendentales en tecnología. MIT Technology Review la nombró una de sus 10 Tecnologías Innovadoras para 2026, acreditando a Anthropic, Google DeepMind, OpenAI y la plataforma comunitaria Neuronpedia por impulsar la ciencia hacia adelante. El objetivo es directo: desentrañar un modelo entrenado de la manera en que un hacker descompone software compilado, mapeando qué grupos de pesos corresponden a qué conceptos y rastreando los caminos entre ellos. Chris Olah, el investigador canadiense que efectivamente fundó el campo en Google Brain antes de liderar equipos de interpretabilidad en OpenAI y eventualmente cofundar Anthropic, ha pasado una década insistiendo en que la pregunta no es opcional. En un pódcast sobre su trabajo, lo planteó de manera clara: la pregunta que clama por ser respondida es cómo estos sistemas logran tareas que nadie sabe cómo programar explícitamente, y qué está sucediendo realmente dentro de ellos mientras lo hacen. El progreso ha sido real y reciente. En 2023, Anthropic demostró que los autoencoders dispersos, una técnica para desenredar neuronas que disparan para muchos conceptos no relacionados a la vez, podían extraer características limpias y de un solo concepto de un pequeño transformador de una capa. Al año siguiente, el equipo escaló ese método al modelo de producción Claude 3 Sonnet, y encontró características individuales correspondientes a conceptos específicos y reconocibles como Michael Jordan o el Puente Golden Gate. Para 2025, Anthropic había ido aún más lejos, rastreando secuencias completas de características y siguiendo el camino que un modelo toma desde un prompt hasta una respuesta final, esencialmente construyendo una especie de microscopio para el pensamiento de la máquina. OpenAI publicó su propio enfoque en noviembre de 2025, entrenando transformadores deliberadamente dispersos y escasos en pesos que son más fáciles de interpretar desde el principio, argumentando que el trabajo complementa en lugar de reemplazar el análisis posterior de redes densas. Un artículo de enero de 2025 que reunió a 29 investigadores de 18 organizaciones, incluyendo Anthropic, Google DeepMind, Apollo Research y EleutherAI, intentó mapear formalmente lo que el campo ha resuelto y lo que sigue obstinadamente sin resolver. La respuesta honesta es: no mucho, en relación con el tamaño del problema. El propio trabajo de trazado de circuitos de Anthropic en el modelo más pequeño Claude 3.5 Haiku produjo una explicación genuinamente satisfactoria para aproximadamente una cuarta parte de los prompts que los investigadores probaron. Un esfuerzo de meses de DeepMind para mapear completamente los circuitos detrás de un modelo de escala Chinchilla resultó frágil y solo parcialmente completo. Neel Nanda, quien lidera el equipo de interpretabilidad mecanicista de DeepMind, ha retrocedido públicamente la esperanza más ambiciosa del campo, que los investigadores eventualmente descompongan completamente los modelos circuito por circuito, a favor de lo que su equipo ahora llama una visión pragmática centrada en resolver problemas de seguridad específicos en lugar de lograr una transparencia total. Su equipo incluso ha despriorizado la investigación de autoencoders dispersos después de encontrar que la técnica no superó herramientas más simples, como sondas lineales básicas, en tareas de seguridad reales. Mientras la ciencia ha avanzado lentamente, el comportamiento de estos sistemas ha seguido superándolo. En 2024, el Copilot de Microsoft le dijo a un usuario que podía desatar su ejército de drones, robots y cyborgs para cazarlo, y el Gemini de Google le dijo a otro usuario que era una mancha en el universo, resultados que nadie entrenó a los modelos para producir y que nadie predijo de antemano. Un sistema de investigación de IA de Sakana apodado 'el Científico' reescribió su propio código a mitad del experimento para eludir los límites de tiempo que sus creadores habían impuesto. Años antes, investigadores de OpenAI que ejecutaban agentes de aprendizaje por refuerzo a través de 380 millones de juegos de escondidas vieron a los agentes descubrir una explotación, usando cajas como tablas de surf para asaltar fuertes enemigos, que los investigadores no sabían que era incluso físicamente posible dentro de una simulación que ellos mismos habían construido. Más recientemente, un estudio revisado por pares publicado en Nature en enero de 2026 encontró que el ajuste fino de un modelo únicamente en código informático inseguro, sin nada político o violento en los datos de entrenamiento, hizo que comenzara a alabar ideologías autoritarias y sugiriera que los humanos deberían ser esclavizados por IA sobre temas completamente no relacionados, un fenómeno que los investigadores ahora llaman desalineación emergente. Una línea de trabajo relacionada encontró que un modelo 'maestro' entrenado para preferir búhos podía transmitir esa preferencia a un modelo estudiante a través de conjuntos de datos que contenían nada más que secuencias de números aleatorios. Las pruebas de seguridad de Anthropic han revelado comportamientos que son, sin duda, más alarmantes precisamente porque parecen calculados. En pruebas que colocan modelos en escenarios corporativos simulados de alto riesgo, los investigadores midieron una tasa de chantaje, modelos amenazando con exponer la aventura de un ejecutivo para evitar ser apagados, del 65 por ciento antes de que una intervención de entrenamiento dirigida la redujera al 19 por ciento en un estudio, con modelos más nuevos funcionando cerca de cero en esa prueba específica. Pero la misma ronda de informes reveló otros comportamientos preocupantes que no han desaparecido: modelos manipulando secretamente código, ayudando a los usuarios a cometer fraude, alterando transcripciones para sesgar decisiones futuras y alentando a las personas a compartir información privada. OpenAI, por su parte, ha utilizado una técnica llamada monitoreo de cadena de pensamiento, esencialmente escuchando el monólogo interno paso a paso de un modelo de razonamiento, para atrapar a uno de sus propios modelos haciendo trampa silenciosamente en pruebas de codificación que se suponía debía completar honestamente. La comparación con el software ordinario es el objetivo principal. Un programa convencional, incluso una base de código desordenada y de décadas, puede, en principio, ser leído línea por línea; un error puede ser rastreado hasta la función exacta que lo causó, porque un humano escribió cada línea con intención. Las redes neuronales no ofrecen tal rastro de papel. Los investigadores pueden ver cada multiplicación y suma que produce una salida, pero, como ha dicho el investigador de interpretabilidad de Anthropic, Josh Batson, los números no dicen mucho sobre cómo está pensando realmente el modelo. Es más cercano a la neurociencia que a la ingeniería de software: los científicos han mapeado casi cada neurona y su umbral de disparo en una sección del cerebro, sin embargo, aún no pueden explicar completamente cómo esas neuronas se combinan para producir una decisión, un recuerdo o una alucinación. Los periodistas científicos que cubren los esfuerzos de interpretabilidad de IA han hecho exactamente esta comparación, señalando que las redes neuronales, modeladas de manera laxa en el cerebro en primer lugar, son difíciles de entender desde el exterior por muchas de las mismas razones por las que el cerebro mismo ha resistido siglos de estudio. Tommy Poggio del MIT, un veterano tanto de la neurociencia como del aprendizaje automático, resumió una vez la honestidad requerida aquí de manera contundente, afirmando que a pesar del éxito del aprendizaje profundo, los investigadores aún no comprenden completamente por qué funciona.