Un reciente artículo del investigador Hector Zenil de la Universidad de Cambridge ha proporcionado una prueba matemática para lo que muchos científicos de la computación han sospechado durante mucho tiempo: los LLMs (Modelos de Lenguaje Extenso) no pueden auto-mejorarse entrenando con sus propios outputs. El fenómeno, llamado colapso del modelo, ocurre cuando estos modelos estadísticos comienzan a alimentarse de su propio contenido generado en lugar de datos frescos creados por humanos. Piensa en ello como una versión intelectual de la enfermedad de las vacas locas, donde el sistema se degenera lentamente al consumirse a sí mismo. El problema principal radica en lo que los LLMs realmente son frente a lo que sugiere el bombo. A pesar de todo el marketing exagerado sobre inteligencia artificial y aprendizaje automático, estos sistemas son fundamentalmente motores de probabilidad. Analizan enormes conjuntos de datos de textos creados por humanos y construyen modelos estadísticos que predicen qué palabras deberían seguir a otras palabras. Cuando le preguntas algo a ChatGPT, no está pensando o razonando de manera significativa. Está ejecutando un cálculo sofisticado para determinar qué secuencia de palabras es más probablemente estadística dado tu indicación. El artículo de Zenil demuestra que cuando un LLM se entrena con su propio output o con contenido creado por otros LLMs, sufre lo que él llama dinámicas degenerativas. El modelo no aprende ni mejora; converge en una singularidad estadística, esencialmente convirtiéndose en una cámara de eco distorsionada de sus propios sesgos y patrones. Cada generación de auto-entrenamiento amplifica las peculiaridades y errores existentes mientras pierde la diversidad y riqueza de los datos de entrenamiento originales generados por humanos. En unos pocos ciclos, el output se vuelve cada vez más homogéneo, repetitivo y despegado de la realidad. Esto no es solo un problema teórico. A medida que el contenido generado por IA inunda Internet (algunas estimaciones sugieren que el texto creado por IA ya comprende el 10-15% del nuevo contenido web en 2026), los futuros LLMs enfrentan un conjunto de datos cada vez más contaminado. Compañías como OpenAI, Anthropic y Google ya están luchando por encontrar suficientes textos de alta calidad generados por humanos para entrenar sus modelos de próxima generación. La solución fácil de usar datos sintéticos, dejando que la IA entrene IA, resulta ser un callejón sin salida. El artículo propone mecanismos potenciales para contrarrestar la decadencia de la entropía dentro de estos modelos, pero la conclusión fundamental se mantiene: los modelos estadísticos requieren un anclaje externo continuo a datos generados por humanos para evitar el colapso. No hay un bucle de retroalimentación mágico donde la IA se entrena a sí misma hasta volverse superinteligente. El concepto tan publicitado de AGI (Inteligencia General Artificial) que emerge de LLMs escalados parece cada vez más un delirio febril vendido por capitalistas de riesgo y evangelistas tecnológicos que confundieron la coincidencia de patrones con el pensamiento.
💻 technology
La IA Se Devora a Sí Misma, las Matemáticas lo Demuestran
Una nueva investigación confirma lo que los escépticos han estado diciendo: Los Modelos de Lenguaje Extenso (LLMs) como ChatGPT no pueden aprender de su propio output sin colapsar en un sinsentido estadístico. La prueba matemática destruye la fantasía favorita de Silicon Valley de que la IA se desarrollará a sí misma hasta alcanzar la superinteligencia.
Mi opinion
El ciclo de exageración de la IA se ha construido sobre una base de limitaciones deliberadamente oscurecidas. Silicon Valley ha gastado miles de millones convenciendo a los inversores y al público de que estamos al borde de crear mentes digitales, cuando en realidad hemos construido sistemas de autocompletado extremadamente caros. Esta investigación no solo perfora agujeros en la narrativa de AGI; matemáticamente demuestra que todo el concepto es una tontería dadas las arquitecturas actuales. El emperador no tiene ropa, y ahora tenemos cálculo revisado por pares que muestra exactamente cuán desnudo está. Lo que resulta particularmente irritante es cuánta gente inteligente debería haber visto esto venir. Cualquiera que haya trabajado realmente con estos sistemas en lugar de solo invertir en ellos sabe que son frágiles, propensos a la fantasía y fundamentalmente incapaces de razonar realmente. Pero hay demasiado dinero y ego invertidos en la mitología de AGI para admitir lo obvio. El problema del colapso del modelo revela algo más profundo que una limitación técnica: expone que estos sistemas nunca estuvieron en camino hacia la conciencia o la inteligencia general en primer lugar. Son loros estadísticos, y alimentar a un loro con sus propios graznidos no lo enseña a filosofar.
Que pasa despues
La respuesta corporativa inmediata será la negación y la distracción. Espera que OpenAI y Anthropic anuncien nuevos puntos de referencia y capacidades que eviten cuidadosamente el problema del colapso del modelo mientras bombean sus próximas rondas de financiación. Pero detrás de escena, la lucha por datos de entrenamiento limpios está a punto de ponerse fea. Veremos movimientos agresivos para licenciar contenido de editores, universidades y cualquiera que tenga grandes corpus de textos escritos por humanos antes de 2023. Los acuerdos de licencia de datos de Reddit parecerán pintorescos en comparación con lo que viene. El verdadero cambio ocurre en 12-18 meses cuando los inversores comiencen a exigir un ROI real de los despliegues de IA y se den cuenta de que estos sistemas no pueden mejorar autónomamente su camino hacia la rentabilidad. Las compañías que apuesten su futuro en la llegada de AGI para 2027-2028 cambiarán silenciosamente su mensaje de "inteligencia revolucionaria" a "herramientas de productividad". La investigación sobre el colapso del modelo da cobertura a los escépticos que han sido acallados durante dos años. La financiación para los laboratorios de IA centrados en la escala se estancará mientras el dinero fluye hacia enfoques híbridos que mantienen a los humanos firmemente en el bucle, lo que irónicamente podría producir tecnología más útil que la actual búsqueda sin salida de la conciencia de silicio.
Lo que nos dice la historia
Este patrón de sobrepromesas sobre las capacidades de la IA tiene raíces profundas. En los años 60, investigadores como Marvin Minsky afirmaban que la inteligencia artificial comparable a la cognición humana estaba a solo una generación. Los subsiguientes inviernos de la IA de los años 70 y finales de los 80 ocurrieron cuando la realidad no coincidió con la exageración, causando que los fondos colapsaran. La actual burbuja de LLMs refleja la locura de los sistemas expertos de los años 80, cuando se suponía que la IA basada en reglas capturaría la experiencia humana y revolucionaría todo, desde la medicina hasta la manufactura. Esos sistemas también chocaron con limitaciones fundamentales, sin poder generalizar o realmente entender el contexto a pesar de la inversión masiva. El ciclo se repite porque cada generación de impulsores de AI cree genuinamente que su enfoque ha descifrado el código que los intentos anteriores no lograron.
Impacto en los mercados
La investigación sobre el colapso del modelo representa una amenaza a medio plazo para las valoraciones astronómicas de las empresas puramente de IA, aunque se espera que la reacción inmediata del mercado sea moderada. NVIDIA (NVDA), que actualmente cotiza alrededor de $920 por acción después de un fuerte impulso 2025-2026 impulsado por la demanda de chips de IA, enfrenta la dinámica más interesante. Corto plazo alcista a medida que las empresas compran frenéticamente computación para entrenar con los datos limpios restantes antes de que todo esté contaminado, pero a 18 meses vista el panorama se vuelve bajista si la narrativa de AGI colapsa y la demanda se desplaza de la formación de modelos masivos en la frontera a despliegues más pequeños y especializados que requieren menos hardware. Microsoft (MSFT) y Alphabet, matriz de Google (GOOGL) están algo aislados por sus negocios diversificados, pero sus inversiones multimillonarias en IA parecen cada vez más cuestionables. Atención a cambios sutiles en el lenguaje de orientación trimestral en torno a los plazos de monetización de IA. Los verdaderos beneficiarios podrían ser las empresas de datos tradicionales como Thomson Reuters y plataformas de contenido como Stack Overflow que controlan valiosos corpus de datos verificados generados por humanos, se espera una actividad agresiva de fusiones y adquisiciones en ese espacio. Mientras tanto, los ETF enfocados en la IA como ROBT y BOTZ ya han descontado los sueños de AGI, preparándose para posibles correcciones del 20-30% cuando la realidad se imponga.