Aller au contenu

Fichier robots.txt : à quoi il sert et les erreurs à éviter 🤖

Mis à jour le Par Alain Houessou18 min de lecture

Vous avez entendu parler du fichier robots.txt et vous vous demandez si le vôtre empêche Google de voir votre site ? Une seule ligne mal placée peut suffire à vous rendre invisible. Prenons 15 minutes ensemble au téléphone pour vérifier le vôtre, sans engagement.

📩 Prendre contact

🤖 Résumer cet article avec une IA

Un clic : l'IA lit la page et vous en donne l'essentiel.

Table des matières
  1. Robots.txt, c’est quoi exactement ?
  2. À quoi sert le fichier robots.txt ?
  3. Comment trouver le robots.txt d’un site ?
  4. Comment lire un fichier robots.txt ?
  5. Un petit site a-t-il vraiment besoin d’un robots.txt ?
  6. Le robots.txt suffit-il à cacher une page de Google ?
  7. Quelles sont les erreurs à éviter dans un robots.txt ?
  8. Comment créer ou modifier son robots.txt sur WordPress, Wix ou Shopify ?
  9. Faut-il indiquer son sitemap dans le robots.txt ?
  10. Peut-on bloquer ChatGPT et les robots des IA avec le robots.txt ?
  11. Comment vérifier que son robots.txt fonctionne bien ?
  12. Le robots.txt a-t-il un effet sur la vitesse et la santé technique du site ?

🧠 Votre robots.txt : que devez-vous faire ?

📊 Le robots.txt selon l'outil qui fait votre site

OutilCréé automatiquementModifiableÀ savoir
WordPressOui, fichier généré par WordPressOui, via une extension SEO ou un vrai fichierVérifiez la case de visibilité dans Réglages › Lecture
WixOuiOui, dans les réglages SEOLe fichier par défaut convient à la plupart des sites
ShopifyOuiOui, via un modèle du thème (avancé)Les règles par défaut bloquent déjà panier et paiement
Google SitesOuiEn général nonPeu de réglages possibles, rien à faire le plus souvent
Site sur mesurePas toujoursOui, fichier à déposer sur l'hébergementÀ créer à la main si absent, à la racine du site

Robots.txt, c’est quoi exactement ?

Le robots.txt est un petit fichier texte placé à la racine d'un site. Il indique aux robots des moteurs de recherche quelles parties du site ils peuvent visiter ou non.

Google ne découvre pas votre site par magie. Il envoie des robots, des programmes qui passent de page en page pour lire leur contenu. Le plus connu s’appelle Googlebot.

Avant de visiter un site, ces robots regardent d’abord un fichier précis : le robots.txt. C’est un simple fichier texte, comme une note écrite au Bloc-notes. Il contient quelques consignes du type « cette partie, vous pouvez la visiter » ou « celle-ci, non ».

Une image simple

Pensez à la porte de l’arrière-boutique d’une boulangerie, avec un panneau « Réservé au personnel ». Les clients polis ne rentrent pas. Mais le panneau n’est pas une serrure.

Le robots.txt fonctionne pareil :

  • les robots sérieux (Google, Bing) respectent ses consignes ;
  • les robots malveillants peuvent les ignorer ;
  • il ne protège donc rien, il oriente.

Où il se trouve

Le fichier est toujours au même endroit : à la racine du site, c’est-à-dire juste après le nom de domaine. Par exemple : monsite.fr/robots.txt. S’il est rangé dans un sous-dossier, les robots ne le lisent pas.

Son nom s’écrit en minuscules, sans faute : robots.txt, avec un « s ». Un site a un seul fichier de ce type par adresse. Si vous avez une boutique sur boutique.monsite.fr, elle a son propre robots.txt.

Une règle commune à tous

Ce fichier n’est pas une invention de Google. C’est une convention partagée par les moteurs de recherche, désormais écrite noir sur blanc dans la norme officielle du protocole d’exclusion des robots (RFC 9309). Vous n’avez pas besoin de la lire. Retenez seulement que les grands moteurs lisent ce fichier de la même façon.

Pour un artisan ou un commerçant, le robots.txt est donc un détail technique. Mais c’est un détail qui peut, s’il est mal réglé, cacher tout votre site.

À quoi sert le fichier robots.txt ?

Le robots.txt sert à guider les robots des moteurs de recherche : éviter les pages inutiles, comme l'administration ou le panier, et leur indiquer où trouver la liste de vos pages.

Un robot a un temps limité sur chaque site. Le robots.txt l’aide à passer ce temps sur les bonnes pages, celles qui intéressent vos clients.

Ses usages utiles

  • Écarter les pages techniques : l’espace d’administration, la page de connexion, le panier, la page de paiement. Aucun client ne cherche votre panier sur Google.
  • Éviter les pages en double : une boutique de vêtements avec des filtres par taille, couleur et prix peut générer des milliers d’adresses différentes pour les mêmes produits.
  • Écarter les résultats de recherche internes : la petite loupe de votre site crée une page à chaque recherche. Inutile de les faire visiter.
  • Indiquer votre sitemap : le fichier qui liste toutes vos pages importantes.

Un exemple concret

Prenons un gîte avec un module de réservation. Chaque date du calendrier peut créer une page. Le robot risque de visiter des centaines de pages vides de sens. Une ligne dans le robots.txt lui dit de laisser le calendrier de côté.

Google explique ce rôle dans sa présentation officielle du fichier robots.txt : le fichier sert surtout à éviter de surcharger un site de visites de robots.

Ce qu’il ne sert pas à faire

Le robots.txt n’est pas un outil de sécurité. Il ne cache pas :

  • les factures ou devis rangés sur le site ;
  • l’espace client d’un avocat ;
  • les fichiers personnels.

Pire, le fichier est public. N’importe qui peut le lire. Écrire « ne visitez pas /documents-confidentiels » revient à indiquer où chercher.

Pour protéger un contenu, il faut un mot de passe. Pour l’écarter de Google, il faut une autre méthode, que nous détaillons plus bas.

En résumé, le robots.txt est un plan de visite pour les robots. Bien fait, il est discret et utile. Mal fait, il peut fermer la porte à tout le monde.

Comment trouver le robots.txt d’un site ?

Tapez l'adresse du site suivie de /robots.txt dans la barre de votre navigateur, par exemple monsite.fr/robots.txt. Une page de texte s'affiche si le fichier existe.

C’est la bonne nouvelle : trouver le robots.txt ne demande aucun outil. Il est public, sur tous les sites, au même endroit.

La méthode en trois étapes

  1. Ouvrez votre navigateur habituel (Chrome, Firefox, Safari, Edge).
  2. Dans la barre d’adresse, tapez le nom de votre site puis /robots.txt. Exemple : plomberie-dupont.fr/robots.txt.
  3. Appuyez sur Entrée. Une page blanche avec quelques lignes de texte s’affiche.

Vous pouvez faire la même chose avec n’importe quel site, celui d’un grand magasin ou d’un confrère. C’est un bon moyen de voir à quoi ressemble un fichier classique.

Ce que vous pouvez voir

Ce qui s’affiche Ce que ça veut dire
Quelques lignes de texte Le fichier existe, il faut le lire
Une page « introuvable » (erreur 404) Pas de fichier : les robots visitent tout
Une page blanche vide Fichier vide : les robots visitent tout
La page d’accueil du site Le site redirige, le fichier n’existe sans doute pas

Pas de fichier, est-ce grave ?

Non. Sans robots.txt, les robots considèrent qu’ils peuvent tout visiter. Pour un coiffeur avec un site de cinq pages, c’est souvent très bien comme ça.

Le vrai problème, c’est un fichier qui bloque trop. Ou un fichier qui renvoie une erreur serveur : dans ce cas, Google peut ralentir ou suspendre ses visites, par prudence.

Pensez aux variantes de votre adresse

Vérifiez la version que vos visiteurs utilisent vraiment. Votre site est-il en www.monsite.fr ou en monsite.fr ? Tapez les deux. Normalement, l’une redirige vers l’autre.

Si vous avez une boutique ou un blog sur un sous-domaine, comme boutique.monsite.fr, il a son propre robots.txt. Vérifiez-le aussi.

Ce petit test prend une minute. Faites-le aujourd’hui, puis après chaque refonte ou changement d’hébergeur.

Comment lire un fichier robots.txt ?

Un robots.txt se lit ligne par ligne : « User-agent » désigne le robot concerné, « Disallow » interdit un chemin, « Allow » l'autorise, et « Sitemap » donne l'adresse de la liste des pages.

Le fichier fait peur au premier regard. En réalité, il utilise à peine quatre ou cinq mots. Une fois qu’on les connaît, on le lit en quelques secondes.

Les mots à connaître

Ligne Ce qu’elle veut dire
User-agent: * La consigne vaut pour tous les robots (l’étoile veut dire « tous »)
User-agent: Googlebot La consigne vaut seulement pour le robot de Google
Disallow: /panier/ Ne visitez pas ce qui commence par /panier/
Allow: /panier/aide Exception : cette page-là, vous pouvez la visiter
Sitemap: https://... Où se trouve la liste de mes pages

Un exemple classique

Un fichier typique pour une petite boutique ressemble à ceci :

User-agent: *
Disallow: /panier/
Disallow: /mon-compte/
Sitemap: https://www.maboutique.fr/sitemap.xml

Traduction : tous les robots peuvent tout visiter, sauf le panier et l’espace client. Et la liste des pages est à telle adresse.

La différence qui change tout

Deux lignes se ressemblent beaucoup, mais disent l’inverse :

  • Disallow: (rien après) : rien n’est interdit, tout est ouvert ;
  • Disallow: / (une barre oblique) : tout le site est interdit.

Un seul caractère sépare un site visible d’un site fermé aux robots. C’est la première chose à regarder.

Quelques subtilités

  • Les chemins sont sensibles aux majuscules : /Photos/ et /photos/ ne sont pas la même chose.
  • Une règle bloque tout ce qui commence par le chemin indiqué. Disallow: /p bloque /prestations, /plomberie, /photos…
  • Les lignes qui commencent par # sont des commentaires. Les robots les ignorent.
  • Quand un robot trouve une section à son nom, il suit celle-là et ignore la section « tous ».

Si vous lisez votre fichier et qu’une ligne vous intrigue, notez-la. Mieux vaut demander que supprimer au hasard.

Un petit site a-t-il vraiment besoin d’un robots.txt ?

Ce n'est pas obligatoire. Un site vitrine de quelques pages fonctionne très bien sans. L'essentiel est que le fichier, s'il existe, ne bloque aucune page importante.

Beaucoup de patrons de TPE s’inquiètent de ne pas avoir « optimisé » leur robots.txt. Rassurez-vous : pour un petit site, son rôle est modeste.

Le cas du site vitrine

Prenons un plombier avec un site de six pages : accueil, services, zone d’intervention, réalisations, avis, contact. Tout doit être visible sur Google. Il n’y a rien à cacher aux robots.

Dans ce cas, trois situations sont acceptables :

  • pas de fichier du tout ;
  • un fichier vide ;
  • un fichier minimal qui indique seulement le sitemap.

La plupart des outils comme WordPress, Wix ou Shopify créent déjà un fichier correct. Vous n’avez souvent rien à faire.

Quand il devient utile

Le fichier prend de l’importance dans certains cas :

  • une boutique en ligne avec des filtres, un panier et des comptes clients ;
  • un site avec espace membre, par exemple pour un cabinet comptable ;
  • un gîte ou un restaurant avec un module de réservation qui crée beaucoup de pages ;
  • un site avec un moteur de recherche interne ;
  • un gros site de plusieurs milliers de pages.

Là, bien régler le fichier aide les robots à se concentrer sur vos vraies pages : produits, catégories, services.

La seule vraie règle

Pour un petit site, la question n’est pas « mon fichier est-il parfait ? ». La question est : « mon fichier bloque-t-il quelque chose d’important ? ».

Un coiffeur dont le robots.txt contient Disallow: / disparaît de Google, même avec un beau site et de bons avis. Un coiffeur sans fichier du tout, lui, n’a aucun problème.

Ce qui compte davantage

Sur un site vitrine, d’autres points pèsent bien plus lourd :

  • des pages qui décrivent clairement vos services et votre ville ;
  • un site rapide sur téléphone ;
  • une fiche Google à jour ;
  • un sitemap transmis à Google.

Le robots.txt est un interrupteur. Il doit simplement être sur « ouvert ».

Le robots.txt suffit-il à cacher une page de Google ?

Non. Une page bloquée par le robots.txt peut quand même apparaître sur Google, sans description. Pour retirer une page des résultats, il faut la balise noindex ou un mot de passe.

C’est la confusion la plus répandue. Le robots.txt dit aux robots « ne visitez pas ». Il ne dit pas « n’affichez pas ».

Pourquoi une page bloquée peut apparaître

Imaginez une page de votre site bloquée dans le robots.txt. Un autre site fait un lien vers elle. Google connaît alors son adresse, sans pouvoir la lire.

Il peut l’afficher dans ses résultats, avec un message du type « aucune information n’est disponible pour cette page ». Ce n’est ni joli ni discret.

Les bons outils selon le besoin

Votre besoin La bonne méthode
Éviter que les robots perdent leur temps Robots.txt
Retirer une page des résultats Google Balise noindex
Protéger un contenu privé Mot de passe
Supprimer une page pour de bon La supprimer ou la rediriger

La balise noindex est une petite instruction placée dans la page. Elle dit à Google : « tu peux lire cette page, mais ne l’affiche pas ». Les extensions SEO de WordPress la proposent en une case à cocher.

Le piège à éviter

Ne combinez pas les deux sur la même page. Si le robots.txt bloque la page, Google ne peut pas la lire. Il ne voit donc jamais la balise noindex.

Résultat : la page reste dans les résultats, alors que vous vouliez l’en sortir. Pour qu’un noindex fonctionne, la page doit rester ouverte aux robots.

Un exemple de métier

Un avocat crée une page « merci pour votre demande », affichée après le formulaire de contact. Elle n’a rien à faire sur Google. La bonne solution : noindex, pas robots.txt.

À l’inverse, si votre site entier n’apparaît pas, le problème est peut-être ailleurs. Notre guide pourquoi votre site n’apparaît pas sur Google passe en revue toutes les causes possibles, robots.txt compris.

Retenez la règle : robots.txt pour guider, noindex pour cacher, mot de passe pour protéger.

Quelles sont les erreurs à éviter dans un robots.txt ?

Les erreurs classiques : laisser « Disallow: / » après la création du site, bloquer les fichiers de mise en forme, mal nommer le fichier, ou croire qu'il protège des pages privées.

La plupart des problèmes de robots.txt ne viennent pas d’une mauvaise intention. Ils viennent d’un oubli, d’un copier-coller ou d’une extension mal réglée.

1. Le blocage total oublié

Pendant la construction d’un site, on bloque souvent les robots pour qu’ils ne voient pas un chantier. On écrit Disallow: /. Puis le site est mis en ligne… et personne ne retire la ligne.

Le site est beau, mais invisible sur Google pendant des semaines. C’est l’erreur la plus fréquente après une création ou une refonte.

2. Bloquer la mise en forme

Certains anciens fichiers bloquent les dossiers qui contiennent les styles et les scripts (les fichiers qui donnent son apparence et ses fonctions à la page). Google voit alors une page cassée, sans mise en page. Il juge mal sa qualité sur mobile.

3. Un chemin trop court

Disallow: /p semble bloquer une page précise. En réalité, il bloque tout ce qui commence par « /p » : prestations, plomberie, photos, prix. Écrivez toujours le chemin complet, avec la barre finale pour un dossier.

4. Un fichier mal nommé ou mal rangé

  • Robots.txt ou robot.txt au lieu de robots.txt ;
  • fichier rangé dans un sous-dossier ;
  • fichier enregistré en .doc au lieu de texte brut.

Dans tous ces cas, les robots ne le trouvent pas.

5. Le croire protecteur

Lister vos dossiers sensibles dans le robots.txt revient à les afficher en vitrine. Le fichier est lisible par tous.

6. Utiliser des consignes que Google ignore

Certains fichiers contiennent encore Noindex: ou Crawl-delay:. Google ne les prend pas en compte. Elles donnent une fausse impression de contrôle.

7. Modifier sans vérifier

Après un changement d’extension, de thème ou d’hébergeur, le fichier peut changer sans prévenir. Un contrôle rapide après chaque intervention évite les mauvaises surprises.

Si votre site est une boutique ou a déjà connu plusieurs refontes, ces erreurs se cumulent vite. C’est précisément ce que notre service de SEO technique vérifie et corrige, avec le reste de la base technique.

Comment créer ou modifier son robots.txt sur WordPress, Wix ou Shopify ?

WordPress, Wix et Shopify créent un robots.txt automatiquement. On le modifie via une extension SEO sur WordPress, les réglages SEO sur Wix, et un modèle du thème sur Shopify.

Bonne nouvelle : vous n’aurez presque jamais à écrire ce fichier de zéro. Les outils de création de site s’en chargent. Voyons comment y accéder selon le vôtre.

WordPress

WordPress génère un fichier automatiquement, sans qu’il existe vraiment sur votre hébergement. Pour le modifier :

  • passez par une extension SEO courante, qui propose souvent un éditeur de robots.txt ;
  • ou déposez un vrai fichier robots.txt à la racine, qui remplace alors celui de WordPress.

Point à vérifier en priorité : dans Réglages › Lecture, la case « Demander aux moteurs de recherche de ne pas indexer ce site ». Si elle est cochée, votre site demande à Google de l’ignorer. Elle est souvent cochée pendant la construction, puis oubliée.

Wix

Wix crée un fichier par défaut, adapté à la plupart des sites. Un éditeur de robots.txt est disponible dans les réglages SEO du site. Pour un site vitrine, le fichier par défaut suffit en général.

Shopify

Shopify génère un fichier qui bloque déjà le panier, le paiement et les pages de compte. On peut le personnaliser via un modèle dans le code du thème. C’est réservé aux cas précis : une erreur peut toucher toute la boutique.

Google Sites et outils très simples

Ces outils gèrent le fichier eux-mêmes. En général, on ne peut pas le modifier, et ce n’est pas nécessaire.

Un site fait sur mesure

Si votre site a été développé à la main, le fichier n’existe pas toujours. Pour le créer :

  1. Ouvrez le Bloc-notes (ou TextEdit en mode texte brut).
  2. Écrivez vos lignes, par exemple une ligne User-agent: * et une ligne Sitemap:.
  3. Enregistrez sous le nom exact robots.txt.
  4. Déposez-le à la racine du site, via l’espace de votre hébergeur ou un logiciel de transfert.

Google détaille ces étapes dans son mode d’emploi pour créer un fichier robots.txt.

Quel que soit l’outil, ouvrez ensuite votresite.fr/robots.txt pour vérifier que vos changements apparaissent bien.

Faut-il indiquer son sitemap dans le robots.txt ?

Oui, c'est recommandé. Une seule ligne « Sitemap: » suivie de l'adresse complète du sitemap aide tous les moteurs de recherche à trouver la liste de vos pages.

Le sitemap est un fichier qui liste les pages importantes de votre site. C’est un peu le sommaire que vous tendez aux robots. Le robots.txt est l’endroit idéal pour dire où il se trouve.

La ligne à ajouter

Elle tient en une ligne, n’importe où dans le fichier :

Sitemap: https://www.monsite.fr/sitemap.xml

Quelques règles simples :

  • écrivez l’adresse complète, avec https:// et le nom de domaine ;
  • utilisez la même version que votre site (avec ou sans www) ;
  • si vous avez plusieurs sitemaps, mettez une ligne par sitemap.

Où trouver l’adresse de votre sitemap

Elle dépend de votre outil :

Outil Adresse habituelle
WordPress (sans extension) /wp-sitemap.xml
WordPress avec extension SEO souvent /sitemap_index.xml
Wix, Shopify /sitemap.xml

Pour être sûr, tapez l’adresse dans votre navigateur. Une liste de liens doit s’afficher.

Beaucoup d’outils ajoutent déjà cette ligne tout seuls. Ouvrez votre robots.txt : si la ligne Sitemap est là et que l’adresse fonctionne, c’est parfait.

Pourquoi c’est utile

Google peut trouver votre sitemap de lui-même. Mais il n’est pas le seul moteur. Bing, et les robots de certaines IA, lisent aussi le robots.txt. Une ligne Sitemap leur montre le chemin à tous, sans démarche supplémentaire.

C’est particulièrement utile pour :

  • un site neuf, que personne ne connaît encore ;
  • une boutique qui ajoute souvent des produits ;
  • un gîte ou un restaurant qui publie des pages saisonnières.

Ce n’est pas suffisant seul

Indiquer le sitemap dans le robots.txt ne remplace pas son envoi direct à Google. L’envoi direct vous permet de voir combien de pages Google a lues et lesquelles posent problème.

La marche à suivre est détaillée dans notre article soumettre son sitemap à Google. Les deux gestes se complètent et prennent quelques minutes.

Peut-on bloquer ChatGPT et les robots des IA avec le robots.txt ?

Oui, la plupart des grandes IA ont des robots identifiés qu'on peut bloquer dans le robots.txt. Mais bloquer certains d'entre eux peut vous empêcher d'être cité dans leurs réponses.

Depuis l’arrivée de ChatGPT et des autres assistants, de nouveaux robots visitent les sites. Certains collectent des textes pour entraîner les IA. D’autres cherchent des informations pour répondre aux utilisateurs en direct.

Des robots avec un nom

Les grands acteurs donnent un nom à leurs robots, qu’on peut viser dans le robots.txt. OpenAI, l’entreprise derrière ChatGPT, les présente dans sa documentation officielle sur ses robots. On y distingue notamment :

  • un robot qui sert à l’entraînement des modèles ;
  • un robot qui sert à la recherche, pour afficher et citer des sites dans les réponses.

Google propose aussi une consigne nommée Google-Extended, qui concerne l’usage de vos contenus par ses IA, sans toucher à votre présence dans la recherche classique.

Exemple de consigne

User-agent: GPTBot
Disallow: /

Ces deux lignes demandent au robot d’entraînement d’OpenAI de ne rien visiter. Les autres robots ne sont pas concernés.

La vraie question : voulez-vous être cité ?

Pour un grand média, bloquer les IA peut avoir du sens. Pour un artisan ou un commerçant, c’est souvent l’inverse.

De plus en plus de gens demandent à une IA « un bon couvreur près de Nantes » ou « une boulangerie ouverte le dimanche ». Si l’IA ne peut pas lire votre site, elle ne peut pas vous recommander.

Une approche prudente pour une TPE :

  • laisser ouverts les robots qui servent à la recherche et aux citations ;
  • décider en connaissance de cause pour les robots d’entraînement ;
  • ne rien bloquer en bloc sans savoir ce qu’on bloque.

Une limite à connaître

Comme pour Google, le robots.txt reste une demande polie. Les grands acteurs disent la respecter. Des robots moins sérieux peuvent l’ignorer.

Les noms des robots et leurs rôles évoluent. Vérifiez la documentation de chaque outil avant de modifier votre fichier.

Pour aller plus loin sur la façon d’apparaître dans les réponses des assistants, lisez notre guide être cité par ChatGPT et les IA.

Comment vérifier que son robots.txt fonctionne bien ?

Ouvrez votre robots.txt dans le navigateur, cherchez la ligne « Disallow: / », puis consultez l'outil gratuit de Google pour votre site : il signale les pages bloquées et les erreurs du fichier.

Un contrôle de dix minutes suffit pour un petit site. Faites-le après la mise en ligne, après une refonte et après tout changement d’extension ou d’hébergeur.

Étape 1 : la lecture rapide

Ouvrez votresite.fr/robots.txt et posez-vous trois questions :

  1. Y a-t-il une ligne Disallow: / seule, sous User-agent: * ? Si oui, tout le site est bloqué.
  2. Les pages qui vous rapportent des clients (services, produits, contact) sont-elles concernées par une ligne Disallow ?
  3. La ligne Sitemap est-elle présente, et son adresse fonctionne-t-elle ?

Étape 2 : demander à Google

Google propose un outil gratuit pour suivre votre site. Il contient un rapport consacré au robots.txt. Vous y voyez :

  • la dernière version du fichier lue par Google ;
  • la date de cette lecture ;
  • les éventuelles erreurs ou lignes non comprises.

Un autre outil du même service permet de tester une page précise. S’il affiche « bloquée par le fichier robots.txt », vous savez d’où vient le problème.

Si vous ne l’utilisez pas encore, notre guide sur l’outil gratuit de Google pour suivre votre site explique comment l’installer et le lire, sans jargon.

Étape 3 : laisser le temps

Google garde une copie de votre robots.txt en mémoire, généralement jusqu’à une journée. Une correction n’est donc pas visible à la minute. Les pages débloquées, elles, peuvent mettre plusieurs jours à revenir.

Les signes qui doivent alerter

  • Votre site n’apparaît pas quand on tape son nom exact sur Google.
  • Un résultat affiche « aucune information n’est disponible pour cette page ».
  • Le nombre de pages connues par Google chute après une refonte.

Un exemple concret

Un menuisier refait son site. Deux semaines plus tard, plus aucun appel ne vient d’internet. Dans neuf cas sur dix, le premier réflexe est le bon : ouvrir le robots.txt et vérifier la case de visibilité de l’outil de création.

Si tout semble normal et que le problème persiste, la cause est ailleurs : redirections, pages en double, site trop lent.

Le robots.txt a-t-il un effet sur la vitesse et la santé technique du site ?

Le robots.txt ne rend pas votre site plus rapide pour vos visiteurs. Mais mal réglé, il peut empêcher Google de bien afficher vos pages et gaspiller ses visites sur les gros sites.

On range souvent le robots.txt dans le même tiroir que la vitesse, le sitemap et la sécurité. C’est logique : tout cela forme la base technique d’un site. Mais chaque élément joue un rôle différent.

Sur la vitesse : pas d’effet direct

Vos clients ne voient jamais le robots.txt. Il ne charge pas vos pages plus vite et ne les ralentit pas. Un site lent le restera, quel que soit ce fichier.

Pour la vitesse, ce qui compte, ce sont les images trop lourdes, l’hébergement ou les extensions en trop. Vous pouvez mesurer tout cela grâce à notre méthode pour tester la vitesse de son site internet.

Sur l’affichage vu par Google : un vrai effet

Google ne lit pas seulement le texte. Il affiche la page comme un téléphone le ferait, pour juger de son confort. S’il ne peut pas charger les styles et les scripts, la page lui paraît cassée.

C’est l’une des raisons pour lesquelles Google regarde des indicateurs de confort de navigation. Ils sont expliqués dans notre article sur les Core Web Vitals et pourquoi Google les regarde.

Sur les gros sites : le temps des robots

Sur une boutique de plusieurs milliers de produits, les robots ne visitent pas tout à chaque passage. S’ils s’égarent dans des filtres et des pages de tri, vos nouveaux produits attendent plus longtemps avant d’être vus.

Un robots.txt bien réglé aide les robots à aller à l’essentiel. Sur un site vitrine de dix pages, cet effet est négligeable.

Une base propre, puis le reste

Le robots.txt n’est qu’une pièce du puzzle. Un site visible sur Google combine :

  • un fichier qui ne bloque rien d’important ;
  • un sitemap transmis ;
  • des pages rapides sur mobile ;
  • un contenu clair sur vos services et votre zone.

C’est ce travail complet, technique et local, qui a été mené pour TB Rénovation & Nettoyage, couvreur en Loire-Atlantique : site et référencement local, de 2 à 63 visites Google par jour entre juin 2025 et octobre 2026.

Commencez par le plus simple : ouvrez votre robots.txt aujourd’hui. Une minute de vérification peut éviter des mois d’invisibilité.

❓ Questions fréquentes

Le robots.txt est-il obligatoire pour un site professionnel ?

Non, aucune loi ni aucune règle de Google ne l'impose. Un site sans robots.txt est visité normalement par les robots, qui considèrent alors que tout est ouvert. Le fichier devient utile pour une boutique, un site avec espace client ou un site de grande taille. Pour un site vitrine, l'important est surtout qu'un fichier existant ne bloque aucune page utile.

Combien de temps Google met-il à prendre en compte une modification ?

Google garde une copie du fichier en mémoire, en général jusqu'à une journée. Votre modification est donc lue assez vite. En revanche, les pages qui étaient bloquées peuvent mettre plusieurs jours, parfois plus, à revenir dans les résultats. Le délai dépend de la fréquence à laquelle Google visite votre site. Un sitemap à jour aide à accélérer les choses.

Un robots.txt mal réglé peut-il faire baisser mon référencement ?

Oui, et parfois brutalement. Une ligne qui bloque tout le site, ou vos pages de services, empêche Google de les lire. Elles peuvent perdre leur description puis leur place dans les résultats. Bloquer les fichiers de mise en forme peut aussi donner à Google une image dégradée de vos pages. D'où l'intérêt d'un contrôle après chaque refonte.

Les robots malveillants respectent-ils le robots.txt ?

Non. Le fichier repose sur la bonne volonté des robots. Google, Bing et les grands acteurs sérieux le respectent. Les robots qui aspirent des adresses e-mail ou cherchent des failles l'ignorent souvent. Pour vous protéger, il faut d'autres outils : mots de passe solides, mises à jour régulières, pare-feu proposé par votre hébergeur ou par une extension de sécurité.

Le robots.txt protège-t-il les données de mes clients ?

Non, il ne protège aucune donnée. Il est même lisible par n'importe qui. Les devis, factures, fiches clients ou documents d'un espace membre doivent être protégés par un identifiant et un mot de passe. Pour des données personnelles, vos obligations de sécurité vont bien au-delà de ce fichier. Un hébergement sérieux et des accès bien gérés sont indispensables.

Que signifie la ligne Crawl-delay dans un robots.txt ?

Elle demande aux robots d'attendre quelques secondes entre deux visites de pages, pour ménager le serveur. Certains moteurs la respectent, mais Google l'ignore. Si votre site est ralenti par les visites de robots, la solution passe plutôt par l'hébergeur ou par un réglage adapté. Sur un petit site, cette ligne est en général inutile.

Peut-on avoir un robots.txt différent pour chaque partie du site ?

Non, il y a un seul fichier par adresse de site, placé à la racine. Toutes les consignes pour toutes les parties du site vont dans ce même fichier. Seule exception : un sous-domaine, comme boutique.monsite.fr, est considéré comme un site à part. Il a donc son propre robots.txt, à vérifier séparément.

Un projet en tête ? On en parle 15 minutes, sans engagement.

📩 Prendre contact
Alain Houessou

Écrit par

Alain Houessou

Fondateur · SEO, automatisation et IA

J'aide les artisans, commerçants et TPE à gagner des clients sur Google et dans les réponses des IA : sites, référencement, automatisation. Un plan clair et un suivi chiffré.

Parlons de votre projet →

📚 Les autres articles du même guide

🛠️ Nos services

🧭 Nos autres guides

📈 Nos cas clients

Appliquer ça à votre activité ?

On regarde votre cas en trente minutes, gratuitement.