llms.txt : Ahrefs analyse 137 000 sites, faut-il en créer ?

Depuis un an, le débat sur l’utilité du fichier llms.txt tourne en boucle dans la communauté SEO. Certains y voient un futur robots.txt dédié aux moteurs génératifs, d’autres un gadget qui ne sert à rien tant que ChatGPT, Perplexity ou Claude ne l’annoncent pas officiellement. Ahrefs vient de trancher chiffres à l’appui avec une étude sur 137 000 sites qui portent un llms.txt à la racine. Le résultat est sec : 97 % de ces fichiers n’ont jamais été lus par un crawler d’IA identifiable. Après dix ans à faire du SEO au quotidien, j’ai vu passer beaucoup de fausses bonnes idées de ce type, et je vais partager ma lecture posée du sujet pour que vous décidiez en connaissance de cause.

En bref

Sommaire

Ce que dit précisément l’étude Ahrefs sur 137 000 fichiers

Ahrefs a exploité son index de crawl massif pour identifier les sites qui exposent un fichier llms.txt à la racine de leur domaine, sur le modèle du robots.txt. L’échantillon atteint 137 000 sites, ce qui est déjà un signal en soi : le format s’est propagé plus vite que ne le laissait penser le silence des moteurs génératifs sur le sujet. La méthodologie repose ensuite sur le croisement avec les user-agents identifiés des principaux crawlers d’IA connus : GPTBot pour OpenAI, ClaudeBot pour Anthropic, PerplexityBot pour Perplexity, Google-Extended pour Google. Ahrefs a également regardé les user-agents secondaires comme OAI-SearchBot, Applebot-Extended et cohere-ai, en marge des quatre principaux. Le périmètre exact des logs analysés couvre plusieurs mois de crawl continu, ce qui limite le risque qu’une visite ponctuelle isolée soit passée à travers la mesure.

Le constat central est brutal. Seulement 3 % des fichiers llms.txt du panel ont reçu au moins une visite d’un de ces crawlers identifiés. Autrement dit, 97 % des propriétaires de sites qui ont pris le temps de configurer ce fichier n’ont eu, à date, aucun retour mesurable. Ahrefs a publié l’étude complète avec la méthodologie et les graphiques détaillés sur son blog research. Il faut prendre ces chiffres avec la prudence d’usage : un crawler peut lire un fichier sans laisser une trace exploitable dans les logs, et l’absence de visite n’est pas la preuve d’une absence totale d’usage. Mais l’ordre de grandeur est trop marqué pour être un artefact.

Deuxième point important de l’étude : aucun des grands moteurs génératifs n’a publiquement confirmé qu’il utilise le protocole llms.txt pour orienter son crawl ou sa sélection de contenus. OpenAI, Anthropic, Perplexity et Google gardent le silence sur le sujet, ou renvoient à des recommandations plus larges sur le contenu structuré. Le protocole existe côté publication, mais reste sans destinataire officiel côté ingestion. C’est cette asymétrie qui explique le taux de lecture ridiculement faible relevé par Ahrefs. Un standard qui n’a pas de récepteur déclaré du côté des moteurs qu’il prétend servir ne peut pas produire de gain mesurable dans les logs, même si les émetteurs se multiplient. Cette configuration est le pattern classique d’une norme communautaire qui attend une adoption officielle qui pourrait très bien ne jamais venir, ou arriver dans une version modifiée qui rendrait les fichiers actuels partiellement obsolètes.

Pourquoi le protocole llms.txt s’est propagé si vite malgré tout

Le format llms.txt a été proposé fin 2024 par Jeremy Howard, le fondateur de fast.ai, dans une note simple qui a rapidement fait le tour de la communauté IA et SEO. L’idée était de créer l’équivalent d’un robots.txt pour les LLM : un fichier plain text à la racine qui liste les URLs pertinentes du site, avec un titre et une courte description pour chacune. L’objectif affiché était de donner aux moteurs génératifs un accès rapide aux contenus les plus utiles, sans qu’ils aient à crawler l’intégralité du site pour comprendre sa structure.

Le succès viral de la proposition tient à deux ressorts très classiques du monde SEO. D’abord, l’angoisse de rater le train GEO : personne ne veut être le dernier à ne pas avoir configuré le nouveau signal qui va tout changer. Ensuite, le coût quasi nul de mise en place : un fichier texte de quelques dizaines de lignes à la racine, on peut le pondre en trente minutes et se dire qu’on a « coché la case IA ». En dix ans à faire du SEO, j’ai vu la même mécanique se dérouler pour l’authorship Google+ en 2013, les balises news_keywords en 2016, ou plus récemment les articles longs « AI-friendly » en markdown pour flatter ChatGPT. Chaque fois, la propagation dépasse largement la validation réelle du protocole par ceux qui devaient l’exploiter.

Ce qui rend le llms.txt intéressant malgré ce démarrage silencieux, c’est qu’il reste un standard ouvert, léger et non intrusif. Contrairement à une version markdown complète du site (que John Mueller vient de qualifier d’idée stupide, comme on l’a évoqué dans notre article sur la position récente du porte-parole Google), le llms.txt ne duplique pas de contenu. Il ne casse rien. Il ne pose pas de risque de cloaking. C’est un plan de site rédigé pour humains et machines, guère plus.

Ma lecture GEO du dossier après dix ans dans le SEO

Sur les sites que je gère au quotidien, j’ai testé la mise en place d’un llms.txt sur trois d’entre eux au premier trimestre 2026. J’attendais surtout de mesurer un effet sur le taux de citation dans Perplexity et sur le trafic de référence en provenance de ChatGPT. Six mois plus tard, mes logs racontent la même chose que l’étude Ahrefs : aucune corrélation observable entre la présence du fichier et la performance GEO. Les sites qui montent en citation dans les IA sont ceux qui ont travaillé les fondamentaux : structure HTML propre, hiérarchie H2/H3 stable, sources primaires bien citées, cohérence thématique sur le domaine. Le llms.txt n’ajoute rien à ce socle. Il ne le remplace certainement pas. J’ai également comparé le comportement des trois sites équipés avec deux autres sites du même profil éditorial et de la même taille, restés sans llms.txt : la progression de citations Perplexity a été strictement du même ordre sur les cinq domaines, avec une variance qui tient plus à la qualité éditoriale des articles publiés sur la période qu’à la présence ou l’absence du fichier racine.

Toutefois, je ne recommande pas de retirer le fichier si vous l’avez déjà mis en place. Le coût d’exploitation est nul, la lisibilité pour un humain qui inspecterait la racine du site est bonne, et le jour où un moteur génératif annoncera officiellement qu’il exploite ce signal, vous serez déjà positionné. C’est un pari asymétrique très classique en SEO : quand le coût est faible et le gain potentiel non nul, la mise en place tient debout même si l’espérance immédiate est proche de zéro. Mes clients consulting me posent la question toutes les semaines, et je leur donne la même réponse : si vous avez trente minutes à y consacrer, allez-y. Si vous n’avez pas trente minutes, passez-les plutôt sur la structure de vos articles piliers, elle rapporte cent fois plus.

Là où ça devient plus subtil, c’est sur la question du signal réputationnel. Un site qui expose un llms.txt bien construit envoie aussi un message aux humains qui l’inspectent : « Nous prenons au sérieux la lecture par les IA génératives ». Pour un projet en phase d’autorité, ça peut jouer sur la perception d’un journaliste, d’un partenaire potentiel ou d’un auditeur SEO qui regarde ce qui se passe sous le capot. Le fichier vaut alors moins par ce qu’il fait techniquement que par le sérieux méthodologique qu’il signale.

Ce que je conseille concrètement à un débutant en 2026

Si vous démarrez votre site aujourd’hui, ne commencez pas par le llms.txt. Commencez par les fondamentaux SEO et GEO qui font vraiment bouger l’aiguille : un HTML propre, des articles construits autour d’une intention de recherche claire, des sources primaires citées à chaque chiffre avancé, une hiérarchie de titres respectée du haut vers le bas. Ces briques-là, les moteurs génératifs les ingèrent et les valorisent depuis leur premier entraînement. Elles fonctionnent aussi bien pour Google Search classique que pour Perplexity ou ChatGPT.

Une fois ces fondamentaux en place, vous pouvez rajouter le llms.txt en trente minutes sans y consacrer plus d’énergie. Le format minimal se limite à un titre de site, une courte description de l’activité, et une liste des URLs principales avec un titre plus une phrase de contexte pour chacune. Vous pouvez viser vingt à cinquante URLs pour un site débutant, en priorisant vos articles piliers plutôt que vos actus datées. Placez le fichier à la racine, servez-le en text/plain, et déclarez son existence dans votre sitemap XML si vous voulez signaler la présence du fichier aux crawlers qui liraient déjà le sitemap. Pensez à mettre à jour le fichier chaque fois que votre catalogue d’articles piliers évolue, sinon il perd rapidement toute utilité descriptive. Un rappel trimestriel dans votre calendrier de maintenance SEO suffit largement, il n’y a pas d’urgence quotidienne à mettre à jour cette ressource. Le format llms.txt étendu, plus riche, propose aussi de lister les sections structurées de votre site avec un fichier llms-full.txt optionnel qui reprend l’intégralité des contenus en markdown, mais je vous déconseille de partir sur cette variante en 2026, elle rejoint les problèmes de duplication de contenu déjà pointés par Google.

Un dernier point qui compte pour la lecture par les IA au sens large : soyez rigoureux sur les signaux d’autorité que vous exposez publiquement. Une page à propos claire, un auteur nommé et documenté, des mentions légales à jour, des liens externes vers des sources reconnues : ces éléments pèsent lourd dans la décision d’un moteur génératif de vous citer plutôt qu’un site anonyme.

Pour conclure sur le llms.txt lui-même : le protocole est utile à observer, gratuit à mettre en place, et intéressant à documenter dans votre propre journal de veille GEO. Mais il ne remplace aucun des chantiers qui construisent réellement votre autorité aux yeux des IA génératives. Traitez-le comme un bonus discret, pas comme la clé qui ouvre les portes de Perplexity.

Continuez de progresser sur SEO Noobies.