Refuser que votre site serve à entraîner une IA, c'était jusqu'ici une petite corvée administrative : un robot, une règle, puis on recommence avec le suivant. Le 30 octobre 2026, OpenAI, Google, Microsoft et Anthropic ont annoncé qu'ils respecteraient un même signal pour dire non. Quatre concurrents qui s'accordent sur une ligne de texte, ça n'arrive pas tous les jours. Reste à savoir ce que cette ligne change vraiment.
Ce qui se passe concrètement
Un petit rappel d'abord. Le fichier robots.txt est un document texte dans lequel un site indique aux robots d'exploration (les « crawlers ») ce qu'ils ont le droit de visiter. Pour bloquer l'entraînement des IA, un éditeur devait jusqu'ici citer chaque robot séparément : GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, et la liste continue. Les règles variaient d'un acteur à l'autre.
Désormais, une seule formule suffit :
User-Agent: __usage_ai-training
Disallow: /On peut prévoir des exceptions avec Allow:. Aucune nouvelle grammaire n'est introduite : ceux qui savent déjà écrire un robots.txt n'ont rien de neuf à apprendre. L'annonce est détaillée côté OpenAI et relayée par SiliconANGLE.
Ce que le signal couvre, et ce qu'il ne couvre pas
- Il vise l'entraînement des modèles fondationnels génératifs, c'est-à-dire les grands modèles qui produisent du texte, des images ou du code.
- Il ne couvre pas les modèles qui font exclusivement des tâches non génératives.
- Il reste distinct de l'indexation par les moteurs de recherche.
- Côté Microsoft, Bing sépare désormais, dans ses contrôles, l'entraînement et l'utilisation des contenus comme source (le « grounding », soit la façon dont la recherche IA s'appuie sur une page pour construire sa réponse).
Un calendrier en ordre dispersé
Tout le monde a dit oui, mais pas au même moment. Voici où en est chacun, d'après PPC Land et Search Engine Roundtable.
| Acteur | Calendrier | À noter |
|---|---|---|
| Anthropic | A déjà commencé | Porte le texte auprès de l'IETF |
| OpenAI | « Les prochains mois » | Ses contrôles de crawlers actuels continuent de s'appliquer |
| Microsoft | 1er février 2027 | Bing distingue entraînement et grounding |
| Début 2027, sans date précise | Si le nouveau jeton est utilisé sans citer Google-Extended, Google l'interprète comme si Google-Extended était bloqué |
Un statut encore fragile
Avant de déboucher le champagne, un détail : ce n'est pas une norme. Le texte est un Internet-Draft individuel (draft-kelley-aipref-training-preference-signal-00), porté par Kevin Kelley, d'Anthropic, auprès de l'IETF, l'organisme qui rédige les standards d'Internet. L'effort est volontaire. Et il n'efface rien : les contenus déjà présents dans les jeux d'entraînement existants y restent. Le sujet est aussi repris par Thurrott.
Mon point de vue
C'est une bonne nouvelle, avec un mode d'emploi. Un seul signal à écrire, c'est la fin d'un casse-tête pour les éditeurs, surtout les petits qui n'ont pas d'équipe technique pour suivre l'apparition de chaque nouveau robot. Et le fait que quatre acteurs concurrents s'alignent donne au texte un vrai poids, même sans statut officiel.
Mais pour l'instant, c'est une promesse, pas une garantie. Les implémentations ne sont pas toutes actives, l'engagement est volontaire, et le passé reste dans les données. Le plus sage est de garder les règles par bot et les contrats en place pendant la transition.
Ce que cela change pour nos automatisations
- Agents de scraping et workflows n8n : un opt-out plus répandu rend la collecte web plus encadrée. Les workflows de collecte, de veille ou de RAG alimentés par du contenu web doivent lire ce signal et le journaliser. Un agent qui ignore les préférences d'un site expose ses utilisateurs à un risque juridique et de réputation.
- Conformité : ajouter une vérification du robots.txt aux agents autonomes qui parcourent le web est une bonne pratique, et cela peut même devenir un argument de vente, avec un audit de conformité à la clé.
- Éditeurs et e-commerce : auditer et mettre à jour leur robots.txt est une mission toute trouvée, en gardant en tête que les règles par bot restent utiles tant que tout n'est pas déployé.
- Une distinction à ne pas oublier : refuser l'entraînement n'empêche pas l'usage d'un contenu en temps réel par des agents ou par la recherche IA. Ce sont deux contrôles séparés.
Les sources
- OpenAI : Making it easier for websites to express AI training preferences
- SiliconANGLE : Google, Anthropic and others to support new AI crawling opt-out standard
- PPC Land : Google and Bing back one robots.txt rule to opt out of AI training
- Search Engine Roundtable : Google Adopts New AI Training Control
- Thurrott : Anthropic, Google, Microsoft, and OpenAI Agree to Let Sites Opt Out of AI Training
Et chez vous ?
Votre robots.txt, à quand remonte sa dernière relecture ? Dites-nous si vous comptez dégainer la nouvelle ligne dès qu'elle sera active, ou attendre de voir qui tient parole.