Un article récent du chercheur Hector Zenil à l'Université de Cambridge a fourni une preuve mathématique de ce que beaucoup d'informaticiens soupçonnaient depuis longtemps : les LLMs (Large Language Models) ne peuvent pas s'améliorer eux-mêmes en s'entraînant sur leurs propres productions. Le phénomène, appelé effondrement du modèle, se produit lorsque ces modèles statistiques commencent à se nourrir de leur propre contenu généré plutôt que de nouvelles données créées par des humains. Pensez-y comme à une version intellectuelle de la maladie de la vache folle, où le système dégénère lentement en se consommant lui-même. Le problème fondamental réside dans ce que sont réellement les LLMs par rapport à ce que suggère le battage médiatique. Malgré tout le marketing exalté sur l'intelligence artificielle et l'apprentissage automatique, ces systèmes sont fondamentalement des moteurs de probabilités. Ils analysent d'énormes ensembles de données de textes créés par des humains et construisent des modèles statistiques prédisant quels mots devraient suivre d'autres mots. Lorsque vous posez une question à ChatGPT, il ne réfléchit ni ne raisonne de façon significative. Il effectue un calcul sophistiqué pour déterminer quelle séquence de mots est la plus probable statistiquement, compte tenu de votre question. L'article de Zenil démontre que lorsqu'un LLM s'entraîne sur sa propre production ou sur le contenu créé par d'autres LLMs, il subit ce qu'il appelle des dynamiques dégénératives. Le modèle n'apprend pas ou ne s'améliore pas ; il converge vers une singularité statistique, devenant essentiellement une chambre d'écho déformée de ses propres biais et motifs. Chaque génération d'auto-formation amplifie les bizarreries et erreurs existantes tout en perdant la diversité et la richesse des données de formation initiales générées par des humains. En quelques cycles, la production devient de plus en plus homogène, répétitive et déconnectée de la réalité. Ce n'est pas seulement un problème théorique. À mesure que le contenu généré par IA inonde Internet (certaines estimations suggèrent que le texte créé par IA représente déjà 10-15% du nouveau contenu web en 2026), les futurs LLMs font face à un bassin de données de plus en plus pollué. Des entreprises comme OpenAI, Anthropic et Google peinent déjà à trouver suffisamment de textes de haute qualité générés par des humains pour former leurs modèles de prochaine génération. La solution facile d'utiliser des données synthétiques, laissant l'IA entraîner l'IA, se révèle être une impasse. L'article propose des mécanismes potentiels pour contrer la décroissance de l'entropie au sein de ces modèles, mais la conclusion fondamentale reste la même : les modèles statistiques nécessitent un ancrage externe continu à des données générées par des humains pour éviter l'effondrement. Il n'existe pas de boucle de rétroaction magique où l'IA se forme elle-même en superintelligence. Le concept très médiatisé de l'AGI (Artificial General Intelligence) émergeant de LLMs agrandis ressemble de plus en plus à un rêve fiévreux vendu par des capital-risqueurs et des évangélistes technologiques qui confondent la correspondance de motifs avec la réflexion.
💻 technology
L'IA se mange la queue, les mathématiques le prouvent
De nouvelles recherches confirment ce que les sceptiques affirment depuis longtemps : les grands modèles de langage comme ChatGPT ne peuvent pas vraiment apprendre de leur propre production sans s'effondrer en charabia statistique. La preuve mathématique détruit la fantaisie favorite de la Silicon Valley selon laquelle l'IA se propulsera vers la superintelligence.
Mon avis
Le cycle d'hyper médiatisation de l'IA a été construit sur une fondation de limitations délibérément obscurcies. La Silicon Valley a dépensé des milliards pour convaincre les investisseurs et le public que nous sommes au bord de la création de cerveaux numériques, alors qu'en réalité nous avons construit des systèmes de complétion automatique extrêmement coûteux. Cette recherche ne se contente pas de percer des trous dans le récit de l'AGI ; elle prouve mathématiquement que tout le concept est du non-sens avec les architectures actuelles. L'empereur est nu, et nous avons maintenant du calcul révisé par des pairs montrant exactement à quel point il est dévêtu. Ce qui est particulièrement exaspérant, c'est le nombre de personnes intelligentes qui auraient dû voir venir cela. Quiconque a réellement travaillé avec ces systèmes plutôt que d'y avoir investi sait qu'ils sont fragiles, sujets à des hallucinations et fondamentalement incapables de raisonner réellement. Mais il y a trop d'argent et d'ego investis dans le mythe de l'AGI pour admettre l'évidence. Le problème d'effondrement du modèle révèle quelque chose de plus profond qu'une limitation technique : il expose que ces systèmes n'ont jamais été sur la voie de la conscience ou de l'intelligence générale en premier lieu. Ce sont des perroquets statistiques, et nourrir un perroquet de ses propres cris ne lui apprend pas à philosopher.
Et ensuite ?
La réponse immédiate des entreprises sera le déni et la diversion. Attendez-vous à ce qu'OpenAI et Anthropic annoncent de nouveaux repères et capacités qui contournent soigneusement la question de l'effondrement du modèle tout en gonflant leurs prochaines levées de fonds. Mais en coulisses, la course aux données de formation propres est sur le point de devenir laide. Nous verrons des mouvements agressifs pour obtenir des licences de contenu auprès d'éditeurs, d'universités et de quiconque dispose de grandes collections de textes écrits par des humains avant 2023. Les accords de licences de données de Reddit sembleront anodins par rapport à ce qui s'en vient. Le véritable changement se produira dans 12 à 18 mois lorsque les investisseurs commenceront à exiger un retour sur investissement réel des déploiements d'IA et se rendront compte que ces systèmes ne peuvent s'améliorer de manière autonome vers la rentabilité. Les entreprises qui parient leur avenir sur l'arrivée de l'AGI d'ici 2027-2028 changeront discrètement leur discours de "l'intelligence révolutionnaire" à "outils de productivité". La recherche sur l'effondrement du modèle donne une couverture aux sceptiques qui ont été mis à l'écart pendant deux ans. Le financement des laboratoires d'IA axés sur l'échelle se stabilisera tandis que l'argent affluera vers des approches hybrides qui gardent les humains solidement dans la boucle, ce qui, ironiquement, pourrait produire une technologie plus utile que la poursuite actuelle sans issue de la conscience en silicium.
Ce que l'histoire nous apprend
Ce schéma de promesses excessives sur les capacités de l'IA a des racines profondes. Dans les années 1960, des chercheurs comme Marvin Minsky affirmaient que l'intelligence artificielle comparable à la cognition humaine était à une génération de distance seulement. Les hivers de l'IA qui ont suivi dans les années 1970 et à la fin des années 1980 sont survenus lorsque la réalité n'a pas correspondu au battage médiatique, provoquant un effondrement du financement. La bulle actuelle des LLMs reflète la frénésie des systèmes experts des années 1980, lorsque l'IA basée sur des règles était censée capter l'expertise humaine et révolutionner tout, de la médecine à la fabrication. Ces systèmes ont également rencontré des limitations fondamentales, échouant à généraliser ou à réellement comprendre le contexte malgré des investissements massifs. Le cycle se répète parce que chaque génération de promoteurs de l'IA croit sincèrement que leur approche a décodé ce que les tentatives précédentes ont raté.
Impact sur les marches
La recherche sur l'effondrement du modèle pose une menace à moyen terme aux valorisations astronomiques des entreprises purement axées sur l'IA, bien que la réaction immédiate du marché soit probablement atténuée. NVIDIA (NVDA), actuellement échangé autour de $920 par action après une forte hausse de 2025 à 2026 alimentée par la demande de puces d'IA, fait face à des dynamiques intéressantes. Haussier à court terme car les entreprises achètent dans la panique des capacités de calcul pour s'entraîner sur les données propres restantes avant qu'elles ne soient toutes contaminées, mais les perspectives à 18 mois deviennent baissières si le récit de l'AGI s'effondre et que la demande passe de la formation massive de modèle frontalier à des déploiements plus petits et spécialisés nécessitant moins de matériel. Microsoft (MSFT) et Alphabet, la société mère de Google (GOOGL), sont quelque peu isolés par leurs entreprises diversifiées, mais leurs investissements en IA de plusieurs milliards de dollars semblent de plus en plus discutables. Surveillez les changements subtils dans le langage de leurs prévisions trimestrielles concernant les calendriers de monétisation de l'IA. Les véritables bénéficiaires pourraient être les anciennes sociétés de données comme Thomson Reuters et les plateformes de contenu comme Stack Overflow qui contrôlent de précieuses collections de données vérifiées générées par des humains, attendez-vous à des activités M&A agressives dans cet espace. Pendant ce temps, les ETF axés sur l'IA comme ROBT et BOTZ ont déjà pris en compte les rêves d'AGI, ce qui les prépare à des corrections potentielles de 20-30% lorsque la réalité s'installera.