Google, Microsoft, OpenAI, Anthropic : un robots.txt commun anti-IA

Le 30 octobre 2026, Google, Microsoft, OpenAI et Anthropic ont annoncé leur intention commune d'honorer un nouveau signal dans robots.txt permettant aux éditeurs d'exprimer une seule préférence de refus d'entraînement IA, plutôt que des règles séparées pour GPTBot, Google-Extended, ClaudeBot et les autres crawlers. Le mécanisme est détaillé dans un Internet-Draft IETF rédigé par Kevin Kelley, d'Anthropic.

L'idée résout un vrai problème d'exploitant de site : aujourd'hui, refuser l'entraînement IA oblige à lister crawler par crawler (GPTBot, Google-Extended, ClaudeBot, Applebot-Extended, etc.) dans robots.txt, avec le risque d'en oublier un à chaque nouveau lancement de modèle. Le nouveau token promet un interrupteur unique. Mais entre l'annonce et l'effet réel sur votre fichier, il y a un calendrier étalé sur plus d'un an et plusieurs réserves que la communication des quatre entreprises ne met pas en avant.

01Ce que les quatre entreprises ont réellement annoncé

L'annonce conjointe, relayée notamment par Search Engine Journal, s'appuie sur un document technique concret et non sur un simple communiqué. Krishna Madhavan, responsable produit chez Bing (Microsoft), résume l'intention : « Publishers should not have to choose between being discoverable in Bing and deciding how generative models use their work » (les éditeurs ne devraient pas avoir à choisir entre être visibles sur Bing et décider comment les modèles génératifs utilisent leur travail).

Kevin Kelley, l'auteur du brouillon chez Anthropic, tempère déjà l'enthousiasme dans des propos rapportés par TheNextWeb : « It'll take us some time to add support across our services and work through the inevitable complications and edge cases » (il nous faudra du temps pour déployer le support sur tous nos services et traiter les cas limites inévitables). Autrement dit : l'annonce du 30 octobre marque le début d'un chantier, pas sa fin.

02La syntaxe concrète à connaître (sans encore la déployer)

Le brouillon introduit un nouveau « policy token » utilisable dans la ligne User-Agent de robots.txt, suivi de directives Disallow/Allow classiques. L'exemple donné dans la documentation technique montre comment bloquer l'entraînement sur tout le site sauf une exception, par exemple un espace presse :

Exemple de syntaxe (selon le brouillon)

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Sur le papier, c'est plus simple qu'une liste de user-agents à maintenir. Dans les faits, tant qu'aucun des quatre moteurs ne le lit en production, l'ajouter seul ne protège rien de plus que ce que vos règles actuelles couvrent déjà. Pour le détail technique complet du token et de ses variantes, notre article dédié au nouveau token robots.txt anti-entraînement va plus loin.

03Le calendrier réel, moteur par moteur

C'est le point que la communication grand public lisse le plus : les quatre entreprises n'avancent pas au même rythme, et aucune n'a encore un support complet en production au 2 novembre 2026.

Microsoft est le seul à donner une date de bascule précise dans les deux sens : adoption du nouveau signal début février 2027, puis abandon de ses anciens tags NoArchive et NoCache un mois plus tard. Google, de loin le plus gros crawler du web via Google-Extended, se contente d'un horizon annuel sans mois précis.

04Ce que ce signal ne fait pas (et c'est l'essentiel)

Le brouillon IETF lui-même le précise en toutes lettres : il s'agit d'une soumission individuelle, non endossée par l'IETF, sans valeur normative formelle. Ce n'est ni un standard adopté, ni une obligation légale. Rien n'empêche une entreprise tierce, en dehors des quatre signataires, de l'ignorer purement et simplement.

Un signal volontaire, non normatif, qui ne couvre ni l'indexation ni le crawling classique : avant de toucher au robots.txt, mieux vaut comprendre ce qu'il ne fait pas.

Deux limites supplémentaires méritent d'être soulignées. D'abord, OpenAI précise que ce nouveau signal ne remplace pas les contrôles existants (robots.txt classique, règles dédiées à GPTBot) et ne garantit pas, à lui seul, l'exclusion de l'entraînement. Ensuite, chez Microsoft, entraînement et grounding (l'utilisation du contenu pour générer des réponses en direct) restent deux réglages distincts : refuser l'entraînement via la nouvelle ligne n'empêche donc pas nécessairement que votre contenu alimente des réponses Copilot ou Bing Chat.

05Ce qu'il faut faire (et ne pas faire) dès maintenant

Tant qu'aucun des quatre moteurs n'a de support en production, remplacer vos règles actuelles par le seul nouveau token serait une erreur : vous perdriez une protection effective aujourd'hui pour un signal qui ne sera lu que dans plusieurs mois, au mieux. La bonne approche, pour un site francophone, est d'ajouter le nouveau token en complément de vos règles existantes (Google-Extended, GPTBot, ClaudeBot, Applebot-Extended), pas à leur place.

Il faut aussi surveiller les échéances de Microsoft de près si vous comptiez sur NoArchive ou NoCache pour gérer vos préférences IA côté Bing : ces tags cesseront d'être pris en compte après le 1er mars 2027. Pour le reste du calendrier technique autour du crawl et de l'indexation côté Google, notre article sur les limites de crawl que Google reconnaît lui-même donne un autre exemple de l'écart entre les annonces et la réalité opérationnelle des moteurs.

Chris Waoo

Consultant SEO · fondateur de Cat's Eye Web

Écrit sur le SEO technique, l'IA et Google Discover à partir de tests terrain. Créateur de l'outil d'audit Cat's Eye. @ChrisWaoo