Un article récent du chercheur Hector Zenil à l'Université de Cambridge a fourni une preuve mathématique de ce que beaucoup d'informaticiens soupçonnaient depuis longtemps : les LLMs (Large Language Models) ne peuvent pas s'améliorer eux-mêmes en s'entraînant sur leurs propres productions. Le phénomène, appelé effondrement du modèle, se produit lorsque ces modèles statistiques commencent à se nourrir de leur propre contenu généré plutôt que de nouvelles données créées par des humains. Pensez-y comme à une version intellectuelle de la maladie de la vache folle, où le système dégénère lentement en se consommant lui-même. Le problème fondamental réside dans ce que sont réellement les LLMs par rapport à ce que suggère le battage médiatique. Malgré tout le marketing exalté sur l'intelligence artificielle et l'apprentissage automatique, ces systèmes sont fondamentalement des moteurs de probabilités. Ils analysent d'énormes ensembles de données de textes créés par des humains et construisent des modèles statistiques prédisant quels mots devraient suivre d'autres mots. Lorsque vous posez une question à ChatGPT, il ne réfléchit ni ne raisonne de façon significative. Il effectue un calcul sophistiqué pour déterminer quelle séquence de mots est la plus probable statistiquement, compte tenu de votre question. L'article de Zenil démontre que lorsqu'un LLM s'entraîne sur sa propre production ou sur le contenu créé par d'autres LLMs, il subit ce qu'il appelle des dynamiques dégénératives. Le modèle n'apprend pas ou ne s'améliore pas ; il converge vers une singularité statistique, devenant essentiellement une chambre d'écho déformée de ses propres biais et motifs. Chaque génération d'auto-formation amplifie les bizarreries et erreurs existantes tout en perdant la diversité et la richesse des données de formation initiales générées par des humains. En quelques cycles, la production devient de plus en plus homogène, répétitive et déconnectée de la réalité. Ce n'est pas seulement un problème théorique. À mesure que le contenu généré par IA inonde Internet (certaines estimations suggèrent que le texte créé par IA représente déjà 10-15% du nouveau contenu web en 2026), les futurs LLMs font face à un bassin de données de plus en plus pollué. Des entreprises comme OpenAI, Anthropic et Google peinent déjà à trouver suffisamment de textes de haute qualité générés par des humains pour former leurs modèles de prochaine génération. La solution facile d'utiliser des données synthétiques, laissant l'IA entraîner l'IA, se révèle être une impasse. L'article propose des mécanismes potentiels pour contrer la décroissance de l'entropie au sein de ces modèles, mais la conclusion fondamentale reste la même : les modèles statistiques nécessitent un ancrage externe continu à des données générées par des humains pour éviter l'effondrement. Il n'existe pas de boucle de rétroaction magique où l'IA se forme elle-même en superintelligence. Le concept très médiatisé de l'AGI (Artificial General Intelligence) émergeant de LLMs agrandis ressemble de plus en plus à un rêve fiévreux vendu par des capital-risqueurs et des évangélistes technologiques qui confondent la correspondance de motifs avec la réflexion.