Comment optimiser le fichier robots.txt pour WordPress ? Guide complet

Pourquoi le fichier robots.txt est crucial pour votre site WordPress ?

Le fichier robots.txt est un fichier texte placé à la racine de votre site. Il indique aux robots des moteurs de recherche quelles pages explorer et lesquelles ignorer. Bien configuré, il peut améliorer l’indexation de votre contenu important et économiser votre budget de crawl. Mal configuré, il peut bloquer l’accès à des pages essentielles et nuire à votre référencement.

Dans cet article, nous allons voir comment optimiser le fichier robots.txt pour WordPress, étape par étape.

Qu’est-ce que le fichier robots.txt et comment fonctionne-t-il ?

Le fichier robots.txt suit le standard d’exclusion des robots (REP). Il contient des instructions comme User-agent (le robot ciblé) et Disallow (les chemins à ne pas explorer) ou Allow (pour autoriser malgré une règle parent).

Exemple simple :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Ce code bloque l’accès à tout le dossier wp-admin sauf le fichier admin-ajax.php. Important : les robots peuvent ignorer robots.txt, mais les moteurs de recherche respectent généralement ces directives.

Emplacement par défaut du fichier robots.txt dans WordPress

WordPress ne crée pas automatiquement de fichier robots.txt physique. Il utilise un fichier virtuel généré dynamiquement à l’URL votresite.com/robots.txt. Par défaut, le contenu est :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Ce fichier virtuel peut être modifié via le hook robots_txt dans le fichier functions.php de votre thème, ou en créant un fichier physique à la racine.

Comment optimiser robots.txt pour WordPress ?

1. Créer un fichier physique ou utiliser un plugin ?

Deux options s’offrent à vous :

• Créer un fichier physique via FTP ou cPanel : placez le fichier robots.txt à la racine de votre site. Avantage : contrôle total.
• Utiliser un plugin SEO comme Yoast SEO ou Rank Math : ils offrent une interface pour éditer robots.txt sans toucher au code. Recommandé pour les débutants.

2. Bloquer les dossiers et fichiers inutiles

Pour économiser le budget de crawl, bloquez l’accès aux ressources non essentielles :

• /wp-admin/ : zone d’administration, à bloquer sauf exceptions.
• /wp-includes/ : fichiers système.
• /wp-content/plugins/ : dossiers de plugins, sauf si vos plugins nécessitent des fichiers accessibles.
• /wp-content/themes/ : fichiers de thème.
• /wp-content/uploads/ : à laisser accessible si vos images doivent être indexées, mais vous pouvez bloquer certains sous-dossiers.
• /cgi-bin/ : scripts.

Exemple :

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Allow: /wp-admin/admin-ajax.php

3. Gérer les fichiers et pages en double

WordPress génère des URL en double comme les flux RSS, les pages de pagination, les résultats de recherche. Bloquez-les :

• /feed/ : flux RSS.
• /trackback/ : trackbacks.
• /*?s= : pages de recherche interne.
• /*?attachment_id= : pages de pièces jointes.

Exemple :

Disallow: /feed/
Disallow: /trackback/
Disallow: /*?s=
Disallow: /*?attachment_id=

4. Autoriser l’accès aux ressources essentielles

Certains fichiers doivent rester accessibles :

• /wp-content/uploads/ : pour l’indexation des images.
• /wp-admin/admin-ajax.php : nécessaire pour certaines fonctionnalités.
• Fichiers CSS et JS : si vous voulez que Google les analyse pour le rendu.

Astuce : utilisez Allow pour autoriser des chemins spécifiques dans un dossier bloqué.

5. Utiliser la directive Sitemap

Indiquez l’emplacement de votre sitemap XML dans robots.txt pour faciliter la découverte par les moteurs :

Sitemap: https://www.votresite.com/sitemap_index.xml

Cette directive fonctionne même si vous avez bloqué certains dossiers.

6. Tester votre fichier robots.txt

Après modifications, testez-le avec l’outil de test robots.txt dans Google Search Console. Vérifiez que les pages importantes ne sont pas bloquées par erreur.

Erreurs courantes à éviter

• Bloquer les fichiers CSS et JS : Google a besoin de ces fichiers pour comprendre la mise en page et le contenu. Ne les bloquez pas.
• Utiliser Disallow: / : cela bloque tout le site. À n’utiliser que temporairement.
• Oublier de mettre à jour après une modification : si vous changez de structure, adaptez robots.txt.
• Ignorer les directives de crawl : Google peut interpréter différemment, testez toujours.

Checklist pour une optimisation réussie

Exemple complet d’un fichier robots.txt optimisé pour WordPress

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /*?s=
Disallow: /*?attachment_id=
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/

Sitemap: https://www.votresite.com/sitemap_index.xml

Cet exemple bloque les zones sensibles tout en autorisant les ressources utiles. Adaptez-le à votre site.

FAQ : Questions fréquentes sur robots.txt pour WordPress

Dois-je créer un fichier robots.txt physique ou utiliser un plugin ?

Pour la plupart des utilisateurs, un plugin SEO comme Yoast ou Rank Math est suffisant. Les développeurs peuvent préférer un fichier physique pour plus de contrôle.

Puis-je bloquer tout le site avec robots.txt ?

Oui, avec Disallow: /, mais cela empêchera l’indexation de toutes vos pages. Utilisez-le uniquement temporairement (ex : site en construction).

Google respecte-t-il toujours robots.txt ?

Google respecte les directives, mais il peut ignorer robots.txt pour certaines pages (ex : si la page est déjà indexée). De plus, les robots malveillants peuvent l’ignorer.

Comment vérifier si mon robots.txt est correct ?

Utilisez l’outil de test robots.txt dans Google Search Console. Il simule le crawl et signale les erreurs.

Faut-il inclure le sitemap dans robots.txt ?

Oui, c’est une bonne pratique pour aider les moteurs de recherche à découvrir votre sitemap, même si vous bloquez certains dossiers.

Que faire si je modifie robots.txt et que le site ne s’affiche plus ?

Vérifiez que vous n’avez pas bloqué des fichiers CSS/JS essentiels. Utilisez l’outil de test pour détecter les problèmes.

Recommandations pour aller plus loin

Optimiser robots.txt n’est qu’une partie du SEO technique. Pensez aussi à :

• Créer et soumettre un sitemap XML.
• Utiliser les balises meta robots sur les pages importantes.
• Surveiller les erreurs de crawl dans Google Search Console.
• Mettre en place des redirections 301 pour les pages supprimées.

En suivant ce guide, vous optimiserez efficacement votre fichier robots.txt pour WordPress et améliorerez l’indexation de votre site. N’oubliez pas de tester chaque modification.

Photo by Pavel Danilyuk on Pexels