Les robots IA ne lisent pas une page web de la même façon que Googlebot, et la différence se joue presque entièrement sur le JavaScript. Quand une partie du contenu n’apparaît qu’une fois que le navigateur a exécuté du code, Google finit généralement par la voir, alors que les robots de ChatGPT ou de Claude repartent avec une page à moitié vide. Je vois encore beaucoup de sites qui soignent leurs textes pour être cités par l’IA sans jamais vérifier que ces textes sont lisibles par les robots qui les collectent. Voici ce qu’on sait de leur comportement, la manière de tester son propre site en deux minutes, et ce qu’il faut corriger selon le type de site.
En bref
Une étude de Vercel et de l’agence MERJ montre que GPTBot, ClaudeBot et PerplexityBot n’exécutent pas le JavaScript des pages qu’ils visitent.
Googlebot, lui, exécute le JavaScript dans une seconde étape, ce qui explique qu’un contenu visible sur Google puisse rester invisible pour ChatGPT.
Le test le plus simple consiste à chercher une phrase de sa page dans le code source brut, celui qui s’affiche avec Ctrl+U.
Un site WordPress classique envoie son texte dans le HTML, mais les onglets, avis et blocs chargés par script méritent une vérification.
Obtenir le résumé de cet article par une IA
Ce que les robots IA reçoivent vraiment quand ils visitent une page
La référence la plus solide sur le sujet reste l’étude « The rise of the AI crawler », publiée en décembre 2024 par l’hébergeur Vercel et l’agence MERJ, signée notamment par Giacomo Zecchini et Malte Ubl. Les auteurs ont analysé le trafic réel des robots sur le réseau de Vercel. Sur un mois, GPTBot, le robot d’OpenAI, y a effectué 569 millions de requêtes, et celui d’Anthropic 370 millions, contre 4,5 milliards pour Googlebot.
Le constat central tient en une phrase : aucun des grands robots IA étudiés n’exécute le JavaScript. GPTBot télécharge bien des fichiers JavaScript, dans 11,5 % de ses requêtes, et ClaudeBot dans près de 24 %, mais ils ne les font pas tourner. Le même comportement vaut pour PerplexityBot. Concrètement, ces robots IA récupèrent le HTML que le serveur renvoie au premier chargement, et tout ce qui s’ajoute ensuite par script leur échappe.
Deux exceptions sortent de l’étude. AppleBot passe par un robot basé sur un navigateur, capable d’afficher le JavaScript comme le fait Googlebot. Gemini, de son côté, s’appuie sur l’infrastructure de Googlebot et profite donc du même rendu complet. Les robots IA les plus utilisés lisent votre page sans JavaScript.
Une réserve honnête s’impose sur la date. Ces mesures ont presque deux ans, et les éditeurs de robots peuvent avoir fait évoluer leurs outils depuis. Hypothèse, non vérifiée : à ma connaissance, aucune documentation publique d’OpenAI ou d’Anthropic n’annonce un rendu du JavaScript par leurs robots de collecte, et c’est ce qui me fait considérer le constat comme toujours valable en attendant une preuve contraire. Partir du principe que le JavaScript n’est pas lu reste en tout cas la position la plus prudente.
Pourquoi Google voit votre page alors que ChatGPT la voit à moitié
Google a construit un circuit à part pour le JavaScript. Sa documentation sur les bases du SEO JavaScript décrit trois phases : l’exploration, le rendu, puis l’indexation. Au moment du rendu, une version de Chrome sans interface exécute le JavaScript de la page, et c’est ce résultat final que Google indexe. Le passage peut prendre quelques secondes ou plus longtemps, mais il finit par avoir lieu.
Ce qui m’intéresse le plus dans cette page, c’est une phrase que Google glisse presque en passant. Le rendu côté serveur y est recommandé parce qu’il rend le site plus rapide pour les visiteurs et pour les robots, et parce que tous les robots ne savent pas exécuter le JavaScript. Google le dit lui-même : un site qui dépend du JavaScript pour afficher son contenu fonctionne pour Google, et beaucoup moins bien pour le reste du web.
Le décalage se retrouve directement dans les réponses des IA. L’index de ChatGPT se construit à partir de ce que ses robots ont réellement lu, comme l’expliquait l’article sur la façon dont l’index de ChatGPT choisit les pages qu’il cite. Une page dont le texte arrive par script peut donc très bien se positionner sur Google et rester absente des réponses de ChatGPT, sans que rien ne le signale dans Search Console.
Tous les sites ne sont pas exposés de la même façon. Les applications construites entièrement côté navigateur, avec React, Vue ou Angular sans rendu serveur, sont les plus touchées, parce que leur HTML de départ ne contient souvent qu’un conteneur vide. Les sites classiques sont rarement concernés en entier, mais ils perdent souvent des morceaux précis : un onglet qui charge son texte au clic, un bloc d’avis clients injecté par un widget, une foire aux questions générée par un script, un tableau de prix affiché après coup.
Face à ce constat, une solution circule de plus en plus : publier en parallèle une version markdown de chaque page, pensée pour les robots IA. Les relevés présentés dans l’article sur le markdown pour les IA, qui attire surtout les outils SEO, rapportent que, sur les sites de test de John Mueller, les seuls robots qui déclarent accepter le markdown sont des outils SEO, et qu’une expérience de Profound sur 381 pages ne trouve aucun écart significatif entre markdown et HTML. Honnêtement, le chantier le plus rentable reste ailleurs : faire en sorte que la page normale contienne déjà son texte dans le HTML, parce que c’est elle que les robots visitent en premier.
Le test pour savoir ce qu’un robot IA lit sur votre site
Le test le plus rapide ne demande aucun outil. Ouvrez une page de votre site, affichez son code source avec Ctrl+U sur Windows ou Option+Cmd+U sur Mac, puis cherchez une phrase précise de votre texte avec Ctrl+F. Le code source montre le HTML tel que le serveur l’envoie, avant toute exécution de script. Si la phrase y figure, les robots IA la reçoivent. Si elle n’y est pas alors qu’elle s’affiche à l’écran, elle est chargée par JavaScript.
Attention à ne pas confondre avec l’inspecteur du navigateur, le clic droit puis « Inspecter ». L’inspecteur affiche la page après l’exécution du JavaScript, donc il affiche tout, y compris les blocs qui échappent aux robots IA. Beaucoup de gens font le test dans cet outil la première fois, et en ressortent avec une fausse impression de sécurité.
J’ai fait l’exercice sur SEO Noobies en demandant un article récent avec l’identifiant de GPTBot, comme le ferait le robot d’OpenAI. Le serveur a répondu normalement, avec une page de 217 Ko qui contient quatorze scripts, et la phrase du chapeau apparaissait bien dans le HTML brut, avec environ 1 800 mots de texte lisibles sans rien exécuter. Pour un site WordPress au thème classique, c’est le résultat attendu, puisque les pages sont construites côté serveur avant d’être envoyées.
Le test mérite d’être refait sur trois types de pages : la page d’accueil, une page de service ou de produit, et un article. Ce sont souvent les pages commerciales qui réservent des surprises, parce qu’elles accumulent les modules ajoutés au fil du temps, comme les sliders, les comparateurs de prix ou les blocs d’avis. Une page qui passe le test sur l’article et le rate sur la fiche produit dit exactement où concentrer le travail.
Découvrir l’agence SEO Noobies
Ce que je corrigerais selon le type de site
Sur un site WordPress classique, la base est généralement saine, et le travail consiste à traquer les modules qui chargent leur texte par script. Un bloc d’avis clients peut souvent être remplacé par une version qui écrit les avis directement dans la page. Un contenu caché derrière un onglet ou un accordéon reste lisible tant qu’il est présent dans le HTML au chargement, ce que le test du code source permet de vérifier en quelques secondes.
Sur un site construit avec un framework JavaScript, la solution passe par le rendu côté serveur ou par le pré-rendu, qui génère à l’avance des pages HTML complètes. C’est exactement la recommandation de l’étude de Vercel et MERJ pour tout contenu important. Ce chantier se discute avec le développeur du site, et il vaut mieux le chiffrer avant une refonte qu’après.
Un dernier point se vérifie dans la foulée : un texte parfaitement lisible ne sert à rien si le robot n’a pas le droit d’entrer. Le robots.txt doit laisser passer les robots qu’on veut voir citer le site, et le comportement de chacun mérite d’être connu, comme le montrait l’article sur le bot ChatGPT qui lit des pages bloquées par le robots.txt. Lisibilité du HTML et accès des robots IA se contrôlent ensemble, en une seule passe.
Faire vérifier ce que les IA lisent de votre site
Ce contrôle fait partie de l’offre « J’ai pas le time ! » de l’agence SEO Noobies, à 799 euros : en plus de l’audit technique, l’accès des robots IA au site y est vérifié et corrigé quand c’est possible sans refaire le site. Pour un site en framework JavaScript qui demande un vrai chantier de rendu serveur, le diagnostic sert de point de départ au devis.
Continuez de progresser sur SEO Noobies.
