SkyMinds.Net

Pour limiter l’utilisation du contenu d’un site par des outils d’intelligence artificielle, distinguez trois usages : l’entraînement des modèles, l’indexation pour la recherche et la visite déclenchée par un utilisateur. Ces usages ne se contrôlent pas toujours avec le même robot ni avec la même règle.

Choisir ce que l’on souhaite autoriser

Le choix dépend de votre objectif éditorial. Refuser l’entraînement ne signifie pas nécessairement vouloir disparaître des réponses de recherche. Avant de bloquer, identifiez les usages acceptés et les visites que vous souhaitez conserver.

OpenAI : séparer entraînement et recherche

La documentation officielle distingue GPTBot, pour les contenus susceptibles de servir à l’entraînement, et OAI-SearchBot, pour la recherche dans ChatGPT. Les réglages sont indépendants. Exemple de préférence : refuser GPTBot tout en autorisant OAI-SearchBot.

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /Langage du code : HTTP (http)

ChatGPT-User sert à certaines visites déclenchées par un utilisateur. OpenAI précise que les règles robots.txt peuvent ne pas s’appliquer à ces actions. Il ne faut donc pas le présenter comme un robot d’indexation contrôlé de la même manière.

Google-Extended et Common Crawl

Google-Extended est un jeton de contrôle dans robots.txt, et non un user-agent HTTP distinct. Google décrit son rôle pour certains usages de Gemini et précise qu’il ne détermine pas l’inclusion dans Google Search.

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /Langage du code : HTTP (http)

L’exemple exprime également un refus à Common Crawl via CCBot. Examinez chaque opérateur séparément : les noms et les produits concernés évoluent. Ne bloquez pas Googlebot ou tous les robots par défaut si votre intention se limite à certains usages IA.

robots.txt exprime une préférence, pas un contrôle d’accès

Publiez le fichier à la racine du domaine et vérifiez sa réponse HTTP. Ses directives ne protègent pas techniquement le contenu contre un client qui les ignore. Elles ne retirent pas non plus les données déjà collectées.

Un user-agent peut être imité. Si vous appliquez des règles réseau, utilisez les méthodes de vérification publiées par les opérateurs plutôt qu’une simple recherche du mot « bot ».

Ajouter un contrôle technique avec le WAF

Cloudflare propose AI Crawl Control pour bloquer des robots IA identifiés. Configurez les restrictions selon vos choix puis examinez les journaux. Vérifiez les faux positifs et l’accès des services que vous souhaitez conserver.

Une règle sur un user-agent inconnu ne garantit pas le blocage de tous les aspirateurs. La limitation de débit et la surveillance peuvent compléter la politique. Pour des données réellement privées, utilisez une authentification et des autorisations d’accès.

Vérifier l’effet de la politique

• Relire le fichier robots.txt et éviter les groupes contradictoires.
• Contrôler les requêtes observées dans les logs.
• Tester les règles WAF sans modifier l’accès des visiteurs attendus.
• Suivre les effets sur l’indexation et le trafic.
• Réexaminer les listes d’opérateurs et les documentations lors des évolutions du site.

Pour préparer ces contrôles, consultez les bases de la sécurité WordPress et l’audit technique WordPress.

Sources

OpenAI : robots et usages ; Google : Google-Extended ; Cloudflare : robots.txt et AI Crawl Control.