Amazon a bloqué Muse, l’agent IA de Meta, sans pouvoir passer par son robots.txt. Ce que l’épisode dit des limites du fichier, et quoi vérifier chez vous.
Étiquette
Affichage : 1 - 7 sur 7 RÉSULTATS robots.txt
Entraînement IA : Cloudflare vous laisse visible sur Google
Cloudflare sépare enfin l’entraînement IA de la recherche Google et d’Apple. Ce que fait le réglage Disallow AI Training et ce qu’il reste à vérifier.
Le markdown pour les IA n’attire que les outils SEO
John Mueller ne voit que des outils SEO réclamer du markdown sur ses sites de test, et le seul essai contrôlé publié ne trouve aucun écart significatif.
Le bot ChatGPT lit les pages que votre robots.txt bloque
Le bot ChatGPT qui récupère une page à la demande échappe en partie à robots.txt, et la documentation d’OpenAI l’écrit noir sur blanc.
Cloudflare bloque Googlebot quand vous bloquez l’IA
Cloudflare renvoie une erreur 403 à Googlebot quand le blocage des robots IA est actif. Ce qui change le 15 septembre et les réglages à vérifier.
Bloquer dans robots.txt ne remplace pas le noindex
Bloquer une page dans le robots.txt ne la retire pas de Google : seul un noindex lisible par le robot fait le travail. Ce qu’il faut comprendre en débutant.
Robots.txt : la directive Cloudflare que Google ignore
Robots.txt : Cloudflare y insère une directive Content Signals que Google ignore totalement. Ce que ce fichier fait vraiment, et ne fait pas.