L'un des pères du deep learning répète que les LLM sont une impasse, et il vient de lever plus d'un milliard de dollars pour financer l'alternative. Cette alternative porte un nom, JEPA, et elle repose sur une idée simple : arrêter de prédire des pixels ou des tokens, et prédire du sens. Explication complète, sans équation.
En novembre 2025, l’un des trois « parrains » du deep learning quittait Meta après y avoir fondé et dirigé le labo FAIR pendant douze ans. Quelques semaines plus tard, sa nouvelle société parisienne, AMI Labs, bouclait une levée d’amorçage de 1,03 milliard de dollars sur une valorisation de 3,5 milliards, l’un des plus gros seed de l’histoire. Le pari de Yann LeCun tient en une phrase : les LLM n’amèneront jamais à une intelligence machine digne de ce nom, et l’avenir appartient à une autre famille d’architectures qu’il défend depuis 2022, JEPA, pour Joint-Embedding Predictive Architecture.
“If you are interested in human-level AI, don’t work on LLMs.” « Si vous vous intéressez à l’IA de niveau humain, ne travaillez pas sur les LLM. »
Yann LeCun, à peu près à chaque conférence depuis 2023
Facile de balayer la phrase comme une provocation de conférencier. Plus difficile quand elle vient de l’homme dont les travaux, couronnés par le prix Turing 2018 avec Geoffrey Hinton et Yoshua Bengio, font tourner ChatGPT, Claude et Gemini. Quand le bâtisseur des fondations annonce que l’immeuble a un plafond, l’argument technique mérite qu’on s’y arrête, d’autant qu’il part d’une question que l’industrie, obsédée par le « comment prédire mieux », ne se pose presque jamais : que faut-il prédire, et surtout, que faut-il renoncer à prédire ?
Le péché originel des modèles génératifs : tout prédire, y compris l’imprévisible
Un LLM prédit le prochain token. Un modèle de diffusion reconstruit des pixels. Dans les deux cas, l’objectif d’entraînement est génératif : le modèle doit reproduire la donnée brute dans ses moindres détails, au token près, au pixel près.
Sur du texte, ça fonctionne remarquablement bien, car le texte est déjà une représentation compacte et discrète du monde, produite par des humains qui ont fait le tri avant vous. Sur le monde physique, cette approche se heurte à un mur : la réalité regorge de détails fondamentalement imprévisibles.
Prenez une vidéo d’un arbre agité par le vent et demandez à un modèle génératif de prédire les images suivantes : il devra deviner la position exacte de chaque feuille. Cette information est à la fois imprédictible et parfaitement inutile pour comprendre la scène. Le modèle gaspille donc l’essentiel de sa capacité sur du bruit, et comme plusieurs futurs sont possibles, une prédiction directe tend vers leur moyenne, c’est-à-dire vers le flou. Les générateurs vidéo de 2026 ont largement dompté ces artefacts, les mains à six doigts ont rejoint le folklore des débuts, mais au prix d’une débauche de calcul engloutie dans des détails qui n’apportent rien à la compréhension de la scène. La prouesse d’ingénierie est réelle (elle mériterait un article à elle seule, on y reviendra cet été); l’argument de LeCun est qu’elle achète de la génération, pas de la compréhension.
Et si le problème n’était pas la taille des modèles, mais ce qu’on leur demande de prédire ?
LeCun ajoute un second argument, celui des données, et il aime le chiffrer devant les amphis d’étudiants : la totalité du texte public d’Internet sur lequel s’entraînent les plus gros LLM représente de l’ordre de 10¹⁴ octets, soit environ 400 000 ans de lecture à raison de deux heures par jour, et c’est à peu près le volume qu’un enfant de 4 ans a déjà fait transiter par ses nerfs optiques (environ 2 Mo/s vers le cerveau) en 16 000 heures d’éveil.
« Un enfant de 4 ans a vu autant de données à travers la vision que le plus gros des LLM actuels entraînés sur la totalité de tout le texte disponible sur Internet publiquement. »
Yann LeCun, leçon inaugurale à l’École des Ponts, rentrée 2025
Pourtant cet enfant n’a lu aucun texte : il a appris la gravité, la permanence des objets et les intentions des gens en observant, avec une efficacité d’apprentissage dont aucun modèle actuel ne s’approche. C’est ce mode d’apprentissage que JEPA cherche à imiter.
Un world model, c’est quoi ? Pour vous la faire courte, c’est un modèle interne du fonctionnement du monde : « si l’état actuel est X et que l’action Y est effectuée, alors le monde ressemblera probablement à Z ». Votre cerveau en héberge un, et c’est lui qui vous permet d’anticiper la trajectoire d’un ballon ou les conséquences d’un email envoyé à 2h du matin. Les world models sont considérés comme la brique manquante pour des agents et des robots capables de planifier au lieu de réagir.
JEPA expliqué simplement : prédire dans l’espace des idées, pas dans l’espace des pixels
L’idée centrale de JEPA est presque décevante de simplicité : déplacer la prédiction dans un espace de représentations abstraites, l’espace latent, plutôt que dans l’espace des données brutes.
Quand un verre glisse de la table, vous ne calculez pas la position future de chaque éclat sur le carrelage : vous prédisez « il va se casser », une abstraction qui suffit largement pour agir. JEPA applique ce principe à l’apprentissage automatique.
Concrètement, l’architecture assemble trois briques :
- Un encodeur de contexte, qui transforme la partie visible de la donnée (une image partiellement masquée, le début d’une vidéo) en représentation abstraite
- Un encodeur cible, qui produit la représentation de la partie cachée
- Un prédicteur, qui apprend à deviner la représentation de la cible à partir de celle du contexte
Toute la subtilité tient dans ce que la prédiction ne porte jamais sur les pixels : le prédicteur doit retrouver l’embedding de la zone masquée, c’est-à-dire son contenu sémantique. L’encodeur est libre d’éliminer ce qui ne peut pas être prédit (la position exacte de chaque feuille) pour ne conserver que ce qui structure la scène (un arbre, du vent, une direction). Le détail imprévisible n’est plus une erreur à corriger, c’est une information légitimement jetée.
Comment on l’entraîne sans que tout s’effondre
L’entraînement est auto-supervisé : on masque des morceaux d’image ou de vidéo, et le modèle apprend à prédire les représentations manquantes, sans le moindre label humain. Ce dispositif a toutefois une faille connue, le collapse : si les deux encodeurs se mettent d’accord pour sortir un vecteur constant quoi qu’il arrive, la prédiction devient triviale et le modèle n’apprend rien. La parade utilisée par les modèles JEPA de Meta consiste à ne pas entraîner l’encodeur cible directement : il est mis à jour comme une moyenne mobile exponentielle (EMA) de l’encodeur de contexte, ce qui casse la boucle de triche.
Pour les amateurs de généalogie scientifique, JEPA descend des modèles à base d’énergie (energy-based models) que LeCun défend depuis vingt ans : plutôt que d’assigner une probabilité à chaque futur possible, on apprend une fonction de compatibilité entre une observation et sa suite plausible. Le papier fondateur de 2022, A Path Towards Autonomous Machine Intelligence, va plus loin et empile ces modules en hiérarchie (H-JEPA) pour planifier à plusieurs horizons de temps, exactement comme vous planifiez « aller à Paris » sans micro-planifier chaque pas.
Génératif contre JEPA : un tableau pour résumer
| Modèles génératifs (LLM, diffusion) | JEPA | |
|---|---|---|
| Espace de prédiction | Données brutes (tokens, pixels) | Représentations abstraites (espace latent) |
| Détails imprévisibles | Doivent être modélisés malgré tout | Éliminés par l’encodeur |
| Sortie | Du contenu (texte, image, vidéo) | Un embedding, pas de contenu directement exploitable |
| Incertitude sur le futur | Moyenne des possibles, d’où le flou | Absorbée par l’abstraction |
| Point fort | Génération, interfaces en langage naturel | Compréhension, prédiction, planification |
| Maturité | En production partout | Recherche avancée, premiers déploiements robotiques |
À retenir : JEPA ne génère rien, et c’est volontaire. L’architecture parie que comprendre le monde (en prédire la dynamique dans un espace abstrait) est un problème distinct, et plus fondamental, que générer du contenu plausible.
D’I-JEPA à V-JEPA 2 : quatre ans de preuves de concept
JEPA n’est plus une vue de l’esprit dans un position paper : Meta a publié une lignée complète de modèles open source qui matérialisent l’idée, d’abord sur l’image, puis sur la vidéo, puis sur le contrôle robotique.
| Modèle | Sortie | Modalité | Ce qu’il démontre |
|---|---|---|---|
| I-JEPA | juin 2023 | Image | Des représentations de haut niveau apprises sans augmentation de données, avec 632 millions de paramètres entraînés en moins de 72 heures sur 16 GPU A100 |
| V-JEPA | février 2024 | Vidéo | L’extension au temporel : le modèle apprend la dynamique des objets en regardant des vidéos |
| V-JEPA 2 | juin 2025 | Vidéo + actions | 1,2 milliard de paramètres, plus de 1 million d’heures de vidéo en pré-entraînement, état de l’art en compréhension du mouvement |
| V-JEPA 2-AC | juin 2025 | Robotique | Avec seulement 62 heures de données robot, un bras Franka manipule des objets inconnus dans des environnements jamais vus, 65 à 80 % de réussite en pick-and-place zero-shot |
| V-JEPA 2.1 | mars 2026 | Vidéo | Des features denses plus cohérentes temporellement |
Les chiffres de V-JEPA 2 méritent qu’on s’y attarde, et c’est ce modèle qui m’a personnellement fait passer JEPA de la case « débat académique » à la case « dossier à suivre sérieusement ». Le modèle atteint 77,3 % de précision top-1 sur Something-Something v2 (un benchmark centré sur la compréhension du mouvement) et établit un record en anticipation d’action sur Epic-Kitchens-100. Surtout, la version action-conditionnée planifie ses gestes en imaginant les conséquences de ses actions dans l’espace latent, puis en choisissant la séquence qui rapproche du but : du Model Predictive Control appris par observation, là où les approches classiques exigent des milliers d’heures de téléopération par robot et par tâche.
Meta a d’ailleurs publié en parallèle trois benchmarks (IntPhys 2, MVPBench, CausalVQA) pour mesurer l’intuition physique des modèles vidéo. Détail savoureux : les humains dépassent 85 à 95 % de réussite sur IntPhys 2, quand les meilleurs modèles, V-JEPA 2 compris, restent proches du hasard sur certaines épreuves. Personne ne crie victoire, et c’est plutôt sain.
L’idée essaime au-delà de la vision : des déclinaisons existent pour l’audio, les graphes ou la géospatial, et une recherche Google Scholar sur l’expression exacte renvoie environ 2 200 résultats en juillet 2026. Un papier cosigné par LeCun fin 2025, LLM-JEPA, applique même l’objectif de prédiction en espace latent au fine-tuning des LLM, avec des gains mesurables. L’ironie d’utiliser JEPA pour améliorer les LLM n’échappera à personne.
Pourquoi l’industrie regarde : robots, agents et un milliard de dollars (Baby !)
Si JEPA n’était qu’une querelle d’architecture entre chercheurs, l’histoire resterait confinée aux workshops de NeurIPS. Ce qui a changé en 2026, c’est l’échelle des moyens engagés pour le trancher.
Le départ de LeCun de Meta, officialisé le 19 novembre 2025, s’est conclu par la création d’AMI Labs (Advanced Machine Intelligence, « ami » comme le mot français), installée à Paris et financée à hauteur de 1,03 milliard de dollars avant même un produit. Sa thèse d’investissement est littéralement JEPA : des world models entraînés sur de la vidéo, pour la robotique, les agents et tout ce qui doit interagir avec le monde physique.
Et LeCun n’est pas seul sur le créneau : World Labs, la société de Fei-Fei Li, valorisée à plusieurs milliards, Google DeepMind avec Genie 3, NVIDIA avec Cosmos, tous convergent vers la même intuition, avec des approches parfois génératives d’ailleurs. Les world models sont devenus la prochaine frontière officielle du secteur, au moment précis où les progrès des LLM ralentissent et où leur coût d’entraînement explose.
Insight : pour une entreprise, le signal à retenir n’est pas « les LLM vont disparaître » mais « la génération de texte n’est probablement pas la fin de l’histoire ». Les cas d’usage qui butent aujourd’hui sur les LLM (perception, prédiction physique, planification longue, robotique) relèvent exactement du territoire que JEPA revendique.
Ce que JEPA ne fait pas (encore)
Restons honnêtes deux minutes, parce que le storytelling « David contre Goliath » a ses limites.
D’abord, JEPA ne génère rien : pas de texte, pas d’image, pas de réponse à vos emails. Un embedding prédit n’est pas un livrable, il faut lui adjoindre des têtes de décodage ou des politiques de contrôle pour produire quelque chose d’utilisable. JEPA ne remplacera pas votre chatbot, il ne joue simplement pas dans cette catégorie.
Ensuite, les limites documentées sont réelles. Le papier de V-JEPA 2 reconnaît une sensibilité à la position de la caméra, une dérive sur les horizons de planification longs, et la nécessité de spécifier les objectifs sous forme d’images cibles, ce qui reste peu pratique. Les benchmarks physiques publiés par Meta elle-même montrent l’écart persistant avec l’intuition humaine. Et l’évaluation de représentations latentes demeure un problème ouvert : on ne « discute » pas avec un world model pour juger de sa qualité.
Enfin, il y a l’éléphant dans la pièce : les LLM, eux, sont en production partout, génèrent des dizaines de milliards de revenus et continuent de progresser, notamment sur le raisonnement. Le camp du scaling considère que LeCun sous-estime ce que les modèles génératifs finiront par capturer; lui balaie l’objection avec la nuance qu’on lui connaît :
« Il y a des gens qui vont vous dire que si, l’année prochaine, on aura des systèmes super intelligents, aussi bons qu’un doctorant, etc. C’est faux. C’est faux. »
Il a déjà eu raison contre le consensus (le deep learning des années 90-2000, c’était lui, contre tout le monde), mais un track record n’est pas une démonstration. Le débat n’est pas tranché, il est financé, ce qui est différent.
Points clés à retenir
- JEPA (Joint-Embedding Predictive Architecture) est une architecture auto-supervisée proposée par Yann LeCun en 2022 : elle prédit des représentations abstraites dans l’espace latent, au lieu de reconstruire pixels ou tokens
- Cette abstraction permet d’ignorer les détails imprévisibles du monde physique, là où les modèles génératifs gaspillent leur capacité à les modéliser
- L’argument des données donne la mesure : en 16 000 heures d’éveil, un enfant de 4 ans a vu passer autant d’information que les plus gros corpus de LLM, et il a tout appris en observant, sans lire une ligne
- Trois briques : encodeur de contexte, encodeur cible (mis à jour par EMA pour éviter le collapse) et prédicteur, entraînés par masquage sans aucun label
- La lignée est concrète : I-JEPA (2023), V-JEPA (2024), V-JEPA 2 (2025) avec 1,2 milliard de paramètres et du contrôle robotique zero-shot à 65-80 % de réussite, V-JEPA 2.1 (2026)
- L’enjeu industriel a changé d’échelle : LeCun a quitté Meta et levé 1,03 milliard de dollars avec AMI Labs pour construire des world models sur ces principes
- JEPA ne génère pas de contenu et reste un pari de recherche : les LLM dominent la production, et les deux approches répondent à des problèmes différents
Les LLM ont appris à parler du monde; JEPA veut apprendre le monde, et toute la différence tient dans ce qu’on accepte de ne pas prédire.
Ressources
- A Path Towards Autonomous Machine Intelligence : le position paper fondateur de Yann LeCun (2022)
- Introducing V-JEPA 2 : l’annonce officielle de Meta avec les benchmarks physiques
- I-JEPA : Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture : le premier modèle de la lignée (CVPR 2023)
- V-JEPA 2 : Self-Supervised Video Models Enable Understanding, Prediction and Planning : le papier technique complet
- Yann LeCun’s new venture is a contrarian bet against LLMs : l’interview MIT Technology Review sur AMI Labs
- AMI Labs raises $1.03B : les détails de la levée (TechCrunch)
