Cloudflare sépare enfin l’entraînement IA de la recherche Google et d’Apple. Ce que fait le réglage Disallow AI Training et ce qu’il reste à vérifier.
Étiquette
Affichage : 1 - 9 sur 9 RÉSULTATS crawlers IA
Le markdown pour les IA n’attire que les outils SEO
John Mueller ne voit que des outils SEO réclamer du markdown sur ses sites de test, et le seul essai contrôlé publié ne trouve aucun écart significatif.
Microsoft Clarity compare les passages IA à vos visites
Microsoft Clarity rapporte le volume de passages des robots IA au trafic qu’ils renvoient. L’exemple publié montre six mille passages pour une seule visite.
Le bot ChatGPT lit les pages que votre robots.txt bloque
Le bot ChatGPT qui récupère une page à la demande échappe en partie à robots.txt, et la documentation d’OpenAI l’écrit noir sur blanc.
Vos citations IA se vérifient sans payer un outil
Méthode gratuite pour suivre vos citations IA : test manuel dans ChatGPT et Perplexity, robots repérés dans les journaux du serveur, trafic référent.
Comment l’index de ChatGPT choisit les pages qu’il cite
L’index de ChatGPT n’est pas alimenté par Bing. Comment il choisit les pages citées, ce que fait le cache de lecture, et ce qui compte vraiment.
Cloudflare bloque Googlebot quand vous bloquez l’IA
Cloudflare renvoie une erreur 403 à Googlebot quand le blocage des robots IA est actif. Ce qui change le 15 septembre et les réglages à vérifier.
Robots.txt : la directive Cloudflare que Google ignore
Robots.txt : Cloudflare y insère une directive Content Signals que Google ignore totalement. Ce que ce fichier fait vraiment, et ne fait pas.
llms.txt : Ahrefs analyse 137 000 sites, faut-il en créer ?
Ahrefs a analysé 137 000 sites qui portent un fichier llms.txt : 97 % n’ont jamais été lus par un crawler d’IA. Lecture posée d’un praticien.