Empecemos con lo que realmente sucede cuando le haces una pregunta a ChatGPT. Tu simple solicitud desencadena billones de operaciones matemáticas a través de miles de chips especializados llamados GPUs (unidades de procesamiento gráfico). Estos chips no solo almacenan el modelo de IA, sino que calculan activamente probabilidades para cada posible próxima palabra, cruzan patrones de datos de entrenamiento que representan fragmentos de todo el internet y refinan predicciones a través de capas de redes neuronales. Cada capa agrega peso computacional. Se informa que GPT 4 tiene más de 1 billón de parámetros. Piensa en estos como perillas que la IA ajusta para generar respuestas coherentes. Cada perilla necesita energía para funcionar. Antes de que suceda nada de eso, tu solicitud pasa por un proceso llamado tokenización. Cuando escribes "¿Cómo se diseñan los LLMs?" en ChatGPT, tu navegador no envía ese texto en bruto a los servidores de OpenAI. En cambio, JavaScript ejecutándose en tu computadora local divide la oración en tokens, que son fragmentos de texto que el modelo entiende. Un token podría ser una palabra completa como "How," o una parte de una palabra como "design" y "ed" separados. El tokenizador convierte tu oración en una secuencia de números, cada uno representando un token específico del vocabulario del modelo (típicamente 50,000 a 100,000 posibles tokens). Esos números, no tu texto original, se transmiten al centro de datos. Esto ocurre instantáneamente, en milisegundos, y utiliza energía insignificante en tu dispositivo. Una vez que tu solicitud tokenizada llega al centro de datos, golpea un equilibrador de carga, una computadora especializada que decide qué servidor debe manejar tu solicitud. Los principales proveedores de IA operan múltiples centros de datos en diferentes continentes, por lo que tu solicitud podría ser dirigida a Virginia, Oregón, Irlanda o Singapur según la proximidad geográfica y la carga actual del servidor. El trabajo del equilibrador de carga es evitar que cualquier máquina única se sature mientras mantiene otras inactivas. Rastrea qué servidores están ocupados, cuáles tienen capacidad, y distribuye las solicitudes entrantes en consecuencia. Esta decisión de enrutamiento ocurre en microsegundos. Tu solicitud luego se asigna a un servidor de inferencia específico, que podría ser una sola máquina física con 8 GPUs, o más probablemente, un grupo de máquinas trabajando juntas. Aquí es donde la complejidad explota. El modelo de IA es demasiado grande para caber en una sola GPU. Los más de un billón de parámetros de GPT 4 requieren cientos de gigabytes de memoria. Una sola GPU H100 tiene 80 gigabytes de memoria de ancho de banda alto (HBM). Por lo tanto, el modelo se divide entre varias GPUs utilizando una técnica llamada paralelismo de modelo. Diferentes capas de la red neuronal viven en diferentes chips. Cuando se procesa tu solicitud, las GPUs deben hablar constantemente entre sí, pasando resultados intermedios de una capa a la siguiente. Estas GPUs se comunican a través de interconexiones especializadas de alta velocidad, no de Ethernet regular. La tecnología NVLink de NVIDIA permite que las GPUs en el mismo servidor transfieran datos a 900 gigabytes por segundo, aproximadamente 10 veces más rápido que los SSDs de consumidor más rápidos. Para GPUs en diferentes servidores, los centros de datos utilizan redes InfiniBand, que proporcionan velocidades similares con una latencia extremadamente baja (rango de microsegundos). Esto importa enormemente porque el modelo de IA procesa tu solicitud secuencialmente, un token a la vez. La primera GPU procesa los cálculos de la primera capa, envía resultados a la segunda GPU para la segunda capa, y así sucesivamente a través de potencialmente 96 o más capas. Cualquier retraso en la comunicación se convierte en un cuello de botella que ralentiza el tiempo de respuesta. Aquí está la parte que la mayoría de la gente no se da cuenta: esas GPUs no están simplemente procesando tu solicitud. Están procesando docenas o centenas simultáneamente a través de una técnica llamada batcheo. El servidor agrupa solicitudes de diferentes usuarios que llegaron aproximadamente al mismo tiempo, las procesa en paralelo en los mismos núcleos de GPU, luego divide los resultados de nuevo. Esto mejora drásticamente la eficiencia. Una GPU computando una respuesta a la vez desperdicia la mayoría de sus núcleos de procesamiento. Batchear múltiples solicitudes juntas mantiene todos los núcleos ocupados. Sin embargo, el batcheo introduce complejidad en la comunicación inter GPU. Los resultados para diferentes usuarios deben mantenerse separados, lo que requiere gestión adicional de memoria y enrutamiento cuidadoso de datos. La realidad física de la computación crea un problema inevitable: la electricidad se convierte en calor. Los chips de IA modernos como las GPUs H100 de NVIDIA consumen 700 vatios cada uno bajo carga completa, aproximadamente lo mismo que siete bombillas incandescentes antiguas funcionando simultáneamente. Pero los centros de datos no albergan siete GPUs. Albergan miles o decenas de miles. El SuperCluster de IA de Investigación de Meta utiliza 16,000 GPUs. Las instalaciones de Microsoft que apoyan a OpenAI supuestamente utilizan muchas más. Cuando multiplicas 700 vatios por 20,000 GPUs, estás mirando 14 megavatios solo para computación, antes de la refrigeración, redes o almacenamiento. Eso es suficiente para alimentar aproximadamente 10,000 hogares estadounidenses. La refrigeración se convierte en el vampiro de energía oculto. Esas GPUs generan un calor tremendo en racks de servidores densamente empacados. Sin una refrigeración agresiva, los chips se sobrecalientan y fallan en minutos. Los centros de datos utilizan aire acondicionado a escala industrial, sistemas de refrigeración líquida, y a veces refrigeración evaporativa que consume millones de galones de agua anualmente. Los centros de datos de Google usaron 4.3 mil millones de galones de agua solo en 2022. La infraestructura de refrigeración a menudo consume entre el 30 y el 40% de tanta energía como la computación misma. La física no negocia. El calor debe ser removido a la velocidad a la que se genera, o el hardware se derrite. ¿Por qué no pueden simplemente usar modelos más pequeños? Porque el rendimiento se degrada catastróficamente. La investigación muestra que los modelos más grandes con más parámetros demuestran habilidades emergentes, capacidades que los modelos más pequeños simplemente no pueden replicar sin importar el tiempo de entrenamiento. GPT 3 con 175 mil millones de parámetros funciona dramáticamente mejor que los modelos con 1 mil millón de parámetros en tareas de razonamiento complejo. No hay un truco de eficiencia alrededor de esto. ¿Quieres que la IA entienda el contexto, genere respuestas creativas y evite resultados sin sentido? Pagas el precio de los parámetros. Más parámetros significan más computación por consulta, lo que significa más energía. Pero no siempre fue así. El primer modelo de lenguaje grande que realmente sorprendió a investigadores y al público fue GPT 2, lanzado por OpenAI en febrero de 2019. El modelo tenía 1.5 mil millones de parámetros, pequeño para los estándares actuales, pero revolucionario para su época. OpenAI inicialmente se negó a liberar el modelo completo, citando preocupaciones de seguridad sobre el posible uso indebido para generar noticias falsas y spam. Esa decisión en sí misma se convirtió en un momento decisivo, la primera vez que un laboratorio de IA afirmó públicamente que su tecnología era demasiado peligrosa para compartir libremente. La demostración original de GPT 2 fue notablemente simple y se ejecutó en hardware modesto. Los investigadores de OpenAI mostraron al modelo una solicitud como "En un hallazgo sorprendente, los científicos descubrieron una manada de unicornios viviendo en un valle remoto, previamente inexplorado, en las Montañas Andes". El modelo luego continuó la historia con múltiples párrafos coherentes sobre los unicornios, sus pelajes blancos plateados, sus cuernos únicos con propiedades curativas y el asombro de los científicos ante el descubrimiento. El texto fluía naturalmente, mantenía detalles consistentes e incluso inventaba nombres de científicos e instituciones de investigación plausibles. Los lectores no podían notar de inmediato que fue generado por una máquina. Lo que hizo poderosa esta demostración no fueron los requisitos de hardware, sino el avance conceptual. GPT 2 demostró que un solo modelo, entrenado solo para predecir la próxima palabra en una secuencia, podría aparentemente entender la estructura narrativa, mantener el contexto sobre cientos de palabras y generar ficción creativa sin ninguna programación específica para la tarea. Los sistemas de IA anteriores necesitaban módulos separados para diferentes tareas: uno para traducción, otro para resumen, un tercero para respuesta a preguntas. GPT 2 hizo todo esto con una sola arquitectura, solo al aprender patrones en texto. Los requisitos de computación para esa primera demo fueron modestos para los estándares de centros de datos. GPT 2 podía ejecutar inferencias (generación de texto) en una sola GPU de consumo de gama alta, algo que un investigador bien equipado podría tener en su estación de trabajo en la oficina. Una NVIDIA GTX 1080 Ti con 11 gigabytes de memoria podía manejar la variante más grande de GPT 2, generando texto a unas pocas palabras por segundo. El archivo del modelo en sí mismo tenía alrededor de 6 gigabytes. Podías descargarlo, cargarlo en memoria y comenzar a generar texto sin necesitar recursos en la nube. Esta accesibilidad fue crucial. Investigadores de todo el mundo podían experimentar con GPT 2, explorar sus límites y descubrir tanto sus capacidades como sus fallas. El entrenamiento de GPT 2, sin embargo, fue otra historia. OpenAI usó 40 gigabytes de texto de internet y entrenó en un clúster de máquinas durante semanas. Incluso en 2019, esto requería recursos computacionales significativos, probablemente cientos de miles de dólares en costos de computación en la nube. Pero era alcanzable para un laboratorio bien financiado, aún no los esfuerzos de multi-millones de dólares que requerirían entrenar GPT 4. Andrej Karpathy, anteriormente director de IA de Tesla e investigador de OpenAI, más tarde demostró la simplicidad fundamental de los modelos de lenguaje con un proyecto de enseñanza llamado "minGPT". Mostró que puedes implementar un modelo al estilo GPT funcional en unas pocas centenas de líneas de código Python. La arquitectura no es mágica, es multiplicación de matrices y mecanismos de atención, operaciones estándar que cualquier estudiante de posgrado en ciencias computacionales puede entender. Lo que cambió entre GPT 2 y GPT 4 no fue el algoritmo fundamental. Fue la escala: más parámetros, más datos de entrenamiento, más computación y, fundamentalmente, más energía. El momento de GPT 2 fue el "hola mundo" de la IA porque demostró que el modelado de lenguaje funcionó a una escala que importaba. Los modelos anteriores generaban sin sentido gramaticalmente correcto o memorizaban datos de entrenamiento sin entender. GPT 2 mostró algo parecido a la comprensión, aunque filosóficamente, solo estaba prediciendo patrones estadísticos. Los investigadores le alimentaron solicitudes en francés y obtuvieron respuestas coherentes en francés, a pesar de no tener entrenamiento explícito en traducción. Le pidieron que escribiera poemas en estilos específicos y obtuvieron intentos plausibles. El modelo no era perfecto, eventualmente se desviaría del tema o se contradeciría a sí mismo, pero las capacidades eran innegables. La estrategia de lanzamiento escalonada de OpenAI añadió al impacto de GPT 2. Primero lanzaron una versión más pequeña de 124 millones de parámetros, luego lanzaron variantes más grandes gradualmente en los meses siguientes a medida que la comunidad investigadora demostró uso responsable. Esto creó una atención sostenida y dio tiempo a los investigadores para explorar las capacidades de cada tamaño. Para cuando la versión completa de 1.5 mil millones de parámetros se lanzó en noviembre de 2019, la comunidad de IA había pasado nueve meses descubriendo lo que los modelos de lenguaje escalados podían hacer. Ese trabajo preliminar hizo que el anuncio de GPT 3 en junio de 2020 se sintiera como una evolución natural en lugar de un shock. GPT 3 cambió todo porque OpenAI no lanzó el modelo para descargar. En cambio, ofrecieron acceso a API, donde los desarrolladores enviaban solicitudes a los servidores de OpenAI y recibían completions. Este cambio fue crucial por dos razones: protegió la ventaja competitiva de OpenAI (nadie podía estudiar o copiar su modelo directamente), y centralizó los requisitos de computación. De repente, no necesitabas una GPU para usar GPT 3. Solo necesitabas una clave de API y una tarjeta de crédito. Esto democratizó el acceso mientras creaba dependencia de la infraestructura de OpenAI. El modelo de API también significó que los usuarios nunca vieron el costo computacional real. Cuando ejecutabas GPT 2 en tu máquina local, escuchabas los ventiladores girar, sentías el calor, tal vez notabas que tu factura de electricidad subía si lo ejecutabas constantemente. Con la API de GPT 3, la computación ocurrió invisiblemente en un centro de datos en algún lugar. Pagabas por token, unos pocos centavos para miles de palabras, sin sensación de los megavatios quemándose detrás de escena. Esta abstracción es cómo la industria escaló tan rápidamente sin desencadenar preocupaciones energéticas inmediatas. Los costos estaban ocultos en presupuestos operativos y facturas de servicios, no visibles para los usuarios finales. Ahora aquí está la distinción crucial que la mayoría de la gente pierde: usar un modelo de IA entrenado (inferencia) es completamente diferente de entrenar el modelo de IA en primer lugar. Cuando chateas con ChatGPT, estás usando un modelo ya entrenado. El entrenamiento es lo que ocurrió meses antes, cuando OpenAI creó ese modelo desde cero. Piensa en ello como la diferencia entre leer un libro y escribir el libro. Usar ChatGPT es leer. El entrenamiento es el arduo proceso de escribir cada palabra. El entrenamiento comienza con una pizarra en blanco, una red neuronal con valores de parámetros aleatorios que produce un sinsentido completo. Imagina miles de millones de perillas todas ajustadas a posiciones aleatorias. La red no sabe nada sobre lenguaje, gramática, hechos o razonamiento. Es un sinsentido digital. El proceso de entrenamiento consiste en ajustar esos miles de millones de perillas, pequeñas cantidades a la vez, hasta que la red comienza a producir texto coherente. Así es como realmente funciona: Alimentas a la red un gran fragmento de texto, digamos un artículo de Wikipedia sobre delfines. La red intenta predecir la siguiente palabra en una oración. Con parámetros aleatorios, falla espectacularmente. Donde el texto real dice "Los delfines son mamíferos marinos altamente inteligentes", la red no entrenada podría predecir "Los delfines son púrpura diecisiete baloncesto" porque sus parámetros son un sinsentido. El algoritmo de entrenamiento mide cuán incorrecta fue esa predicción. Esto se llama calcular la pérdida. Cuanto peor sea la predicción, mayor será el número de pérdida. Luego viene el paso clave: retropropagación. El algoritmo trabaja hacia atrás a través de todas las capas de la red, calculando exactamente cuánto cada uno de esos miles de millones de parámetros contribuyó a la terrible predicción. Es como la contabilidad forense para redes neuronales, rastreando el error hasta sus fuentes. Una vez que el algoritmo sabe qué parámetros causaron el problema, los ajusta ligeramente en la dirección que habría producido una mejor predicción. Esto se llama descenso de gradiente. Estás empujando miles de millones de perillas, cada una por una pequeña cantidad, tratando de acercarse a un mejor rendimiento. Un ajuste no hace mucho. Pero repites este proceso billones de veces, con billones de ejemplos de texto diferentes, y gradualmente esas perillas aleatorias cambian a configuraciones que realmente funcionan. El consumo de energía para el entrenamiento es absolutamente asombroso porque estás haciendo este cálculo repetidamente en todo el texto que cabe en internet. Se informó que el entrenamiento de GPT 3 requirió 1,287 megavatios-hora, equivalente a lo que 120 hogares estadounidenses utilizan en todo un año, quemado en semanas o meses de computación continua. No solo estás leyendo texto. Estás haciendo cuadrillones de operaciones matemáticas: multiplicaciones de matrices, cálculos de gradientes, actualizaciones de parámetros, todo en miles de GPUs funcionando 24/7. Aquí está por qué el entrenamiento es mucho más caro que la inferencia: Cuando usas ChatGPT (inferencia), los parámetros están congelados. La red hace un pase hacia adelante a través de sus capas, calcula probabilidades, elige una palabra y sigue adelante. El entrenamiento requiere un pase hacia adelante para hacer una predicción, luego un pase hacia atrás para calcular gradientes, luego actualizaciones de parámetros, luego verificaciones de validación, todo repetido billones de veces. Estás haciendo tal vez 100 veces más computación por palabra durante el entrenamiento que durante la inferencia. El entrenamiento moderno también ocurre en múltiples fases. Primero, hay el pre entrenamiento, donde el modelo aprende patrones generales de lenguaje de conjuntos de datos masivos. Esta es la parte costosa que consume más de 1,000 megavatios-hora. Luego viene el ajuste fino, donde tomas ese modelo pre entrenado y lo especializas para tareas específicas como seguir instrucciones o tener conversaciones. El ajuste fino utiliza conjuntos de datos más pequeños, cuidadosamente curados y ajusta los parámetros más suavemente. Todavía es computacionalmente costoso, pero tal vez de un 1 al 10% del costo del pre entrenamiento. Las empresas también hacen aprendizaje por refuerzo a partir de comentarios humanos (RLHF), donde calificadores humanos puntúan las respuestas de la IA, y el algoritmo de entrenamiento ajusta los parámetros para producir respuestas que obtienen puntuaciones más altas. Esto añade otra capa de costo de entrenamiento porque necesitas humanos en el bucle, generando comentarios, lo que luego impulsa más descenso de gradiente y actualizaciones de parámetros. Una vez que el entrenamiento termina, tienes un archivo de modelo que contiene miles de millones de valores de parámetros congelados. Ese archivo se copia a servidores de inferencia en todo el mundo. Esos servidores solo leen los parámetros y los usan para responder preguntas. Nunca modifican los parámetros. El modelo permanece exactamente igual de inteligente (o tonto) que el momento en que terminó el entrenamiento. Usar ChatGPT mil millones de veces no lo hace más inteligente, porque la inferencia no cambia parámetros. Este es un punto crítico que muchas personas no entienden: Los modelos de IA no aprenden de conversaciones con los usuarios. Son instantáneas estáticas de conocimiento congeladas al final de su proceso de entrenamiento. Por esto la fantasía del Raspberry Pi no funciona. Puedes descargar un modelo pre entrenado a tu Pi y ejecutar inferencias, pero el Pi nunca hará que ese modelo sea más inteligente mediante el uso. El entrenamiento requiere hardware especializado, conjuntos de datos masivos y meses de computación que le tomarían siglos a tu Pi completar. El modelo que descargaste está congelado en el tiempo, una instantánea de lo que sea que aprendió durante el entrenamiento. ¿Por qué Claude supera a menudo a ChatGPT en tareas de codificación? La respuesta no es simplemente más datos. Es qué datos, cómo se ponderan y cómo se ajusta finamente el modelo después del entrenamiento inicial. Anthropic entrenó a Claude con una técnica llamada IA Constitucional (CAI), que implica múltiples rondas de refinamiento donde la IA critica y revisa sus propias salidas basadas en principios explícitos. Para la codificación específicamente, esto significa que Claude probablemente vio más ejemplos de código diverso durante el entrenamiento, recibió señales más fuertes para priorizar la corrección sobre la creatividad y pasó por un aprendizaje por refuerzo adicional específicamente en desafíos de programación. OpenAI y Anthropic usan diferentes conjuntos de datos de entrenamiento con diferentes estrategias de licenciamiento y origen. Claude puede haber absorbido más repositorios de GitHub, discusiones de Stack Overflow y documentación técnica. La arquitectura del modelo también difiere sutilmente. Aunque ambos usan diseños basados en transformers, las elecciones de Anthropic sobre mecanismos de atención, optimización de ventanas de contexto y cómo el modelo maneja texto estructurado vs. no estructurado pueden afectar drásticamente el rendimiento en tareas que requieren sintaxis precisa y lógica. El principio de calidad sobre cantidad importa enormemente en datos de entrenamiento. Alimentar un modelo de IA con 10 billones de tokens de texto de internet aleatorio produce peores resultados que 5 billones de tokens cuidadosamente seleccionados. Para tareas de codificación, esto significa priorizar repositorios con código de producción bien comentado sobre tareas estudiantiles extraídas de foros. Significa ponderar más la documentación técnica y las referencias a APIs que publicaciones de blogs casuales sobre codificación. Anthropic probablemente dedicó un esfuerzo significativo en ingeniería filtrando datos de entrenamiento para la excelencia en codificación, mientras que OpenAI optimizó GPT 4 más ampliamente en habilidades de conversación, escritura creativa y conocimiento general. Ningún enfoque es incorrecto, pero producen modelos con fortalezas diferentes. ¿Existe un límite en el aprendizaje de IA o los modelos pueden seguir mejorando para siempre? La respuesta honesta: aún no lo sabemos, pero las evidencias sugieren que nos estamos acercando a límites prácticos con las arquitecturas actuales. Las leyes de escalado descubiertas por investigadores de OpenAI en 2020 mostraron que el rendimiento del modelo mejora de manera predecible a medida que aumentas los parámetros, los datos de entrenamiento y la computación. Pero esas leyes asumen que tienes datos de alta calidad ilimitados. Nos estamos quedando sin ellos. Todo el internet accesible contiene tal vez 10 a 50 billones de palabras de texto utilizable. Los modelos de vanguardia ya han entrenado en porciones significativas de ese corpus. No puedes simplemente repetir los mismos datos repetidamente. Los modelos memorizan en lugar de aprender. Los investigadores están chocando con el muro de datos, donde encontrar material fresco y de alta calidad para el entrenamiento se vuelve exponencialmente más difícil. Los datos sintéticos (contenido generado por IA utilizado para entrenar otras IAs) ofrecen una solución tentadora que en su mayoría no funciona. Los primeros experimentos mostraron que los modelos entrenados con sus propias salidas sufren de colapso del modelo, donde los errores se acumulan y el rendimiento se degrada con el tiempo. Es como hacer fotocopias de fotocopias: la calidad se deteriora rápidamente. Sin embargo, los datos sintéticos cuidadosamente curados pueden funcionar para tareas específicas. Puedes generar millones de problemas de matemáticas con soluciones verificadas o desafíos de programación con pruebas unitarias que confirmen la corrección. La clave es tener una verificación automatizada que detecta alucinaciones y errores antes de que envenenen el conjunto de entrenamiento. Este enfoque funciona para dominios estructurados como matemáticas y código, pero fracasa para tareas abiertas como la escritura creativa o el razonamiento matizado donde la corrección no es verificable algorítmicamente. El futuro del aprendizaje de IA probablemente involucra datos multimodales y experiencia encarnada en lugar de más texto. Los modelos que aprenden de video, datos de sensores y entornos interactivos pueden seguir mejorando porque esas fuentes de datos superan el texto en volumen puro. Una sola hora de video contiene mucha más información que horas de lectura. Los robots que aprenden mediante prueba y error en entornos simulados generan datos de entrenamiento prácticamente ilimitados. Este cambio requiere arquitecturas y técnicas de entrenamiento fundamentalmente diferentes, lo que significa que la generación actual de LLMs (Modelos de Lenguaje Grande) centrados en texto puede representar un máximo local en lugar de un camino hacia la inteligencia artificial general (AGI). No estamos chocando con un techo en la inteligencia de máquina en términos generales. Estamos chocando con un techo en cuanto a cuán más inteligentes pueden volverse los modelos de lenguaje puro utilizando métodos actuales y datos de texto disponibles.