Halluciner intelligemment : classifier du contenu à grande échelle en 2026

Le problème que personne ne veut admettre : les taxonomies sont trop grandes pour les LLMs

En 2026, la promesse des LLMs pour classifier du contenu à grande échelle est devenue un lieu commun dans les roadmaps produit. Pourtant, une limite structurelle persiste et embarrasse beaucoup de décideurs tech : que fait-on quand la taxonomie de tags dépasse largement la fenêtre de contexte d'un modèle ?

Simon Willison, développeur et observateur reconnu de l'écosystème IA, a documenté ce problème de façon concrète sur son blog (simonwillison.net/2026/Aug/14/dont-classify-hallucinate/). Son propre site accumule 1 856 tags distincts. Impossible de les injecter tous dans un seul prompt LLM sans exploser les coûts, dégrader la qualité de réponse ou tout simplement dépasser les limites techniques du modèle.

Ce n'est pas un cas isolé. Toute organisation qui gère un catalogue produit, une base documentaire, un CMS éditorial ou une médiathèque se retrouve tôt ou tard face à ce mur. Les approches naïves - tronquer la liste, regrouper les tags en catégories, ou multiplier les appels API - produisent des résultats médiocres ou des factures ingérables.

Le vrai problème n'est pas la puissance du LLM. C'est qu'on lui pose la mauvaise question.

La technique 'hypothetical classification' : halluciner pour mieux classifier

Doug Turnbull, spécialiste de la recherche et de la pertinence, propose une inversion radicale du paradigme. La technique s'appelle hypothetical classification, et elle repose sur une idée contre-intuitive : ne pas montrer au LLM la taxonomie réelle.

Le principe en trois étapes :

1. Génération libre : on soumet le contenu à classifier au LLM et on lui demande de générer librement les tags qu'il associerait naturellement à ce contenu, sans aucune contrainte de liste. Le modèle hallucine ses propres labels, dans ses propres mots.
2. Vectorisation : ces tags générés librement sont transformés en embeddings (vecteurs sémantiques) via un modèle d'embedding standard.
3. Mapping par similarité : on calcule la similarité cosinus entre ces embeddings et ceux de tous les tags réels de la taxonomie. Les correspondances les plus proches sont retenues comme tags finaux.

Le résultat : le LLM n'a jamais besoin de voir la liste complète des 1 856 tags. Il travaille dans son espace sémantique naturel, et c'est la couche d'embedding qui fait le travail de traduction vers la taxonomie existante.

Approche classique	Hypothetical classification
Injecter tous les tags dans le prompt	Laisser le LLM générer librement
Limité par la fenêtre de contexte	Scalable quelle que soit la taille de la taxonomie
Coût élevé en tokens	Coût maîtrisé, prompt court
Qualité dégradée sur longues listes	Qualité stable, indépendante du volume
Maintenance difficile si la taxonomie évolue	Seule la base d'embeddings est à mettre à jour

Pourquoi cette approche est particulièrement pertinente en 2026

Cette technique n'est pas nouvelle dans son principe - les embeddings existent depuis des années. Ce qui change en 2026, c'est le contexte dans lequel elle s'applique.

Trois évolutions récentes rendent la hypothetical classification particulièrement attractive aujourd'hui :

• La maturité des modèles d'embedding : les modèles comme ceux de la famille text-embedding sont devenus fiables, rapides et peu coûteux. Le mapping sémantique qui était expérimental en 2023-2024 est devenu une brique de production standard en 2025, et encore plus accessible en 2026.
• L'explosion des bases de contenu : les organisations ont massivement produit du contenu ces dernières années, souvent sans gouvernance taxonomique rigoureuse. En 2026, le chantier de reclassification rétroactive de millions de documents est une réalité pour beaucoup d'équipes data et produit.
• La pression sur les coûts LLM : même si les prix ont baissé, classifier des millions de documents avec des prompts lourds reste coûteux. La hypothetical classification réduit drastiquement la taille des prompts, ce qui se traduit directement en économies à l'échelle.

Le bilan 2025 a montré que les projets de tagging automatique qui misaient tout sur le prompt engineering pur ont souvent échoué à passer à l'échelle. En 2026, les équipes qui réussissent sont celles qui combinent LLM et couche sémantique, exactement ce que propose ce pattern.

Implications pratiques pour les décideurs tech

Si vous pilotez un projet de classification ou de tagging à grande échelle, voici ce que cette technique change concrètement dans vos arbitrages :

• Architecture : vous avez besoin d'une base d'embeddings pour votre taxonomie. C'est un investissement initial modeste, mais il doit être planifié. Chaque tag de votre taxonomie doit être vectorisé une fois, puis mis à jour quand la taxonomie évolue.
• Qualité : le point faible potentiel est la qualité du mapping. Si un tag généré par le LLM est sémantiquement ambigu, le matching peut produire des faux positifs. Un seuil de similarité minimum et une validation humaine sur les cas limites restent recommandés.
• Gouvernance taxonomique : paradoxalement, cette technique révèle les faiblesses de votre taxonomie. Si le LLM génère systématiquement des tags que votre taxonomie ne couvre pas bien, c'est un signal fort pour la faire évoluer.
• Scalabilité : c'est le point fort majeur. Que votre taxonomie ait 200 ou 20 000 tags, le prompt LLM reste identique et court. Seule la base d'embeddings grandit, ce qui est gérable.

La vraie valeur de cette approche n'est pas technique. C'est qu'elle déplace le problème de la limite du contexte LLM vers un problème de similarité vectorielle - un problème bien mieux maîtrisé par les équipes data en 2026.

Pour aller plus loin, la source originale de Simon Willison est disponible à l'adresse simonwillison.net/2026/Aug/14/dont-classify-hallucinate/ et constitue un point de départ solide pour toute équipe qui veut implémenter ce pattern en production.