Fichier robots.txt : à quoi il sert et les erreurs à éviter 🤖
Mis à jour le Par Alain Houessou18 min de lecture
Vous avez entendu parler du fichier robots.txt et vous vous demandez si le vôtre empêche Google de voir votre site ? Une seule ligne mal placée peut suffire à vous rendre invisible. Prenons 15 minutes ensemble au téléphone pour vérifier le vôtre, sans engagement.
📩 Prendre contact🤖 Résumer cet article avec une IA
Un clic : l'IA lit la page et vous en donne l'essentiel.
Table des matières
- Robots.txt, c’est quoi exactement ?
- À quoi sert le fichier robots.txt ?
- Comment trouver le robots.txt d’un site ?
- Comment lire un fichier robots.txt ?
- Un petit site a-t-il vraiment besoin d’un robots.txt ?
- Le robots.txt suffit-il à cacher une page de Google ?
- Quelles sont les erreurs à éviter dans un robots.txt ?
- Comment créer ou modifier son robots.txt sur WordPress, Wix ou Shopify ?
- Faut-il indiquer son sitemap dans le robots.txt ?
- Peut-on bloquer ChatGPT et les robots des IA avec le robots.txt ?
- Comment vérifier que son robots.txt fonctionne bien ?
- Le robots.txt a-t-il un effet sur la vitesse et la santé technique du site ?
🧠 Votre robots.txt : que devez-vous faire ?
📊 Le robots.txt selon l'outil qui fait votre site
| Outil | Créé automatiquement | Modifiable | À savoir |
|---|---|---|---|
| WordPress | Oui, fichier généré par WordPress | Oui, via une extension SEO ou un vrai fichier | Vérifiez la case de visibilité dans Réglages › Lecture |
| Wix | Oui | Oui, dans les réglages SEO | Le fichier par défaut convient à la plupart des sites |
| Shopify | Oui | Oui, via un modèle du thème (avancé) | Les règles par défaut bloquent déjà panier et paiement |
| Google Sites | Oui | En général non | Peu de réglages possibles, rien à faire le plus souvent |
| Site sur mesure | Pas toujours | Oui, fichier à déposer sur l'hébergement | À créer à la main si absent, à la racine du site |
🎬 La vidéo à voir
Robots.txt, c’est quoi exactement ?
Le robots.txt est un petit fichier texte placé à la racine d'un site. Il indique aux robots des moteurs de recherche quelles parties du site ils peuvent visiter ou non.
Google ne découvre pas votre site par magie. Il envoie des robots, des programmes qui passent de page en page pour lire leur contenu. Le plus connu s’appelle Googlebot.
Avant de visiter un site, ces robots regardent d’abord un fichier précis : le robots.txt. C’est un simple fichier texte, comme une note écrite au Bloc-notes. Il contient quelques consignes du type « cette partie, vous pouvez la visiter » ou « celle-ci, non ».
Une image simple
Pensez à la porte de l’arrière-boutique d’une boulangerie, avec un panneau « Réservé au personnel ». Les clients polis ne rentrent pas. Mais le panneau n’est pas une serrure.
Le robots.txt fonctionne pareil :
- les robots sérieux (Google, Bing) respectent ses consignes ;
- les robots malveillants peuvent les ignorer ;
- il ne protège donc rien, il oriente.
Où il se trouve
Le fichier est toujours au même endroit : à la racine du site, c’est-à-dire juste après le nom de domaine. Par exemple : monsite.fr/robots.txt. S’il est rangé dans un sous-dossier, les robots ne le lisent pas.
Son nom s’écrit en minuscules, sans faute : robots.txt, avec un « s ». Un site a un seul fichier de ce type par adresse. Si vous avez une boutique sur boutique.monsite.fr, elle a son propre robots.txt.
Une règle commune à tous
Ce fichier n’est pas une invention de Google. C’est une convention partagée par les moteurs de recherche, désormais écrite noir sur blanc dans la norme officielle du protocole d’exclusion des robots (RFC 9309). Vous n’avez pas besoin de la lire. Retenez seulement que les grands moteurs lisent ce fichier de la même façon.
Pour un artisan ou un commerçant, le robots.txt est donc un détail technique. Mais c’est un détail qui peut, s’il est mal réglé, cacher tout votre site.
À quoi sert le fichier robots.txt ?
Le robots.txt sert à guider les robots des moteurs de recherche : éviter les pages inutiles, comme l'administration ou le panier, et leur indiquer où trouver la liste de vos pages.
Un robot a un temps limité sur chaque site. Le robots.txt l’aide à passer ce temps sur les bonnes pages, celles qui intéressent vos clients.
Ses usages utiles
- Écarter les pages techniques : l’espace d’administration, la page de connexion, le panier, la page de paiement. Aucun client ne cherche votre panier sur Google.
- Éviter les pages en double : une boutique de vêtements avec des filtres par taille, couleur et prix peut générer des milliers d’adresses différentes pour les mêmes produits.
- Écarter les résultats de recherche internes : la petite loupe de votre site crée une page à chaque recherche. Inutile de les faire visiter.
- Indiquer votre sitemap : le fichier qui liste toutes vos pages importantes.
Un exemple concret
Prenons un gîte avec un module de réservation. Chaque date du calendrier peut créer une page. Le robot risque de visiter des centaines de pages vides de sens. Une ligne dans le robots.txt lui dit de laisser le calendrier de côté.
Google explique ce rôle dans sa présentation officielle du fichier robots.txt : le fichier sert surtout à éviter de surcharger un site de visites de robots.
Ce qu’il ne sert pas à faire
Le robots.txt n’est pas un outil de sécurité. Il ne cache pas :
- les factures ou devis rangés sur le site ;
- l’espace client d’un avocat ;
- les fichiers personnels.
Pire, le fichier est public. N’importe qui peut le lire. Écrire « ne visitez pas /documents-confidentiels » revient à indiquer où chercher.
Pour protéger un contenu, il faut un mot de passe. Pour l’écarter de Google, il faut une autre méthode, que nous détaillons plus bas.
En résumé, le robots.txt est un plan de visite pour les robots. Bien fait, il est discret et utile. Mal fait, il peut fermer la porte à tout le monde.
Comment trouver le robots.txt d’un site ?
Tapez l'adresse du site suivie de /robots.txt dans la barre de votre navigateur, par exemple monsite.fr/robots.txt. Une page de texte s'affiche si le fichier existe.
C’est la bonne nouvelle : trouver le robots.txt ne demande aucun outil. Il est public, sur tous les sites, au même endroit.
La méthode en trois étapes
- Ouvrez votre navigateur habituel (Chrome, Firefox, Safari, Edge).
- Dans la barre d’adresse, tapez le nom de votre site puis
/robots.txt. Exemple :plomberie-dupont.fr/robots.txt. - Appuyez sur Entrée. Une page blanche avec quelques lignes de texte s’affiche.
Vous pouvez faire la même chose avec n’importe quel site, celui d’un grand magasin ou d’un confrère. C’est un bon moyen de voir à quoi ressemble un fichier classique.
Ce que vous pouvez voir
| Ce qui s’affiche | Ce que ça veut dire |
|---|---|
| Quelques lignes de texte | Le fichier existe, il faut le lire |
| Une page « introuvable » (erreur 404) | Pas de fichier : les robots visitent tout |
| Une page blanche vide | Fichier vide : les robots visitent tout |
| La page d’accueil du site | Le site redirige, le fichier n’existe sans doute pas |
Pas de fichier, est-ce grave ?
Non. Sans robots.txt, les robots considèrent qu’ils peuvent tout visiter. Pour un coiffeur avec un site de cinq pages, c’est souvent très bien comme ça.
Le vrai problème, c’est un fichier qui bloque trop. Ou un fichier qui renvoie une erreur serveur : dans ce cas, Google peut ralentir ou suspendre ses visites, par prudence.
Pensez aux variantes de votre adresse
Vérifiez la version que vos visiteurs utilisent vraiment. Votre site est-il en www.monsite.fr ou en monsite.fr ? Tapez les deux. Normalement, l’une redirige vers l’autre.
Si vous avez une boutique ou un blog sur un sous-domaine, comme boutique.monsite.fr, il a son propre robots.txt. Vérifiez-le aussi.
Ce petit test prend une minute. Faites-le aujourd’hui, puis après chaque refonte ou changement d’hébergeur.
Comment lire un fichier robots.txt ?
Un robots.txt se lit ligne par ligne : « User-agent » désigne le robot concerné, « Disallow » interdit un chemin, « Allow » l'autorise, et « Sitemap » donne l'adresse de la liste des pages.
Le fichier fait peur au premier regard. En réalité, il utilise à peine quatre ou cinq mots. Une fois qu’on les connaît, on le lit en quelques secondes.
Les mots à connaître
| Ligne | Ce qu’elle veut dire |
|---|---|
User-agent: * |
La consigne vaut pour tous les robots (l’étoile veut dire « tous ») |
User-agent: Googlebot |
La consigne vaut seulement pour le robot de Google |
Disallow: /panier/ |
Ne visitez pas ce qui commence par /panier/ |
Allow: /panier/aide |
Exception : cette page-là, vous pouvez la visiter |
Sitemap: https://... |
Où se trouve la liste de mes pages |
Un exemple classique
Un fichier typique pour une petite boutique ressemble à ceci :
User-agent: *
Disallow: /panier/
Disallow: /mon-compte/
Sitemap: https://www.maboutique.fr/sitemap.xml
Traduction : tous les robots peuvent tout visiter, sauf le panier et l’espace client. Et la liste des pages est à telle adresse.
La différence qui change tout
Deux lignes se ressemblent beaucoup, mais disent l’inverse :
Disallow:(rien après) : rien n’est interdit, tout est ouvert ;Disallow: /(une barre oblique) : tout le site est interdit.
Un seul caractère sépare un site visible d’un site fermé aux robots. C’est la première chose à regarder.
Quelques subtilités
- Les chemins sont sensibles aux majuscules :
/Photos/et/photos/ne sont pas la même chose. - Une règle bloque tout ce qui commence par le chemin indiqué.
Disallow: /pbloque /prestations, /plomberie, /photos… - Les lignes qui commencent par
#sont des commentaires. Les robots les ignorent. - Quand un robot trouve une section à son nom, il suit celle-là et ignore la section « tous ».
Si vous lisez votre fichier et qu’une ligne vous intrigue, notez-la. Mieux vaut demander que supprimer au hasard.
Un petit site a-t-il vraiment besoin d’un robots.txt ?
Ce n'est pas obligatoire. Un site vitrine de quelques pages fonctionne très bien sans. L'essentiel est que le fichier, s'il existe, ne bloque aucune page importante.
Beaucoup de patrons de TPE s’inquiètent de ne pas avoir « optimisé » leur robots.txt. Rassurez-vous : pour un petit site, son rôle est modeste.
Le cas du site vitrine
Prenons un plombier avec un site de six pages : accueil, services, zone d’intervention, réalisations, avis, contact. Tout doit être visible sur Google. Il n’y a rien à cacher aux robots.
Dans ce cas, trois situations sont acceptables :
- pas de fichier du tout ;
- un fichier vide ;
- un fichier minimal qui indique seulement le sitemap.
La plupart des outils comme WordPress, Wix ou Shopify créent déjà un fichier correct. Vous n’avez souvent rien à faire.
Quand il devient utile
Le fichier prend de l’importance dans certains cas :
- une boutique en ligne avec des filtres, un panier et des comptes clients ;
- un site avec espace membre, par exemple pour un cabinet comptable ;
- un gîte ou un restaurant avec un module de réservation qui crée beaucoup de pages ;
- un site avec un moteur de recherche interne ;
- un gros site de plusieurs milliers de pages.
Là, bien régler le fichier aide les robots à se concentrer sur vos vraies pages : produits, catégories, services.
La seule vraie règle
Pour un petit site, la question n’est pas « mon fichier est-il parfait ? ». La question est : « mon fichier bloque-t-il quelque chose d’important ? ».
Un coiffeur dont le robots.txt contient Disallow: / disparaît de Google, même avec un beau site et de bons avis. Un coiffeur sans fichier du tout, lui, n’a aucun problème.
Ce qui compte davantage
Sur un site vitrine, d’autres points pèsent bien plus lourd :
- des pages qui décrivent clairement vos services et votre ville ;
- un site rapide sur téléphone ;
- une fiche Google à jour ;
- un sitemap transmis à Google.
Le robots.txt est un interrupteur. Il doit simplement être sur « ouvert ».
Le robots.txt suffit-il à cacher une page de Google ?
Non. Une page bloquée par le robots.txt peut quand même apparaître sur Google, sans description. Pour retirer une page des résultats, il faut la balise noindex ou un mot de passe.
C’est la confusion la plus répandue. Le robots.txt dit aux robots « ne visitez pas ». Il ne dit pas « n’affichez pas ».
Pourquoi une page bloquée peut apparaître
Imaginez une page de votre site bloquée dans le robots.txt. Un autre site fait un lien vers elle. Google connaît alors son adresse, sans pouvoir la lire.
Il peut l’afficher dans ses résultats, avec un message du type « aucune information n’est disponible pour cette page ». Ce n’est ni joli ni discret.
Les bons outils selon le besoin
| Votre besoin | La bonne méthode |
|---|---|
| Éviter que les robots perdent leur temps | Robots.txt |
| Retirer une page des résultats Google | Balise noindex |
| Protéger un contenu privé | Mot de passe |
| Supprimer une page pour de bon | La supprimer ou la rediriger |
La balise noindex est une petite instruction placée dans la page. Elle dit à Google : « tu peux lire cette page, mais ne l’affiche pas ». Les extensions SEO de WordPress la proposent en une case à cocher.
Le piège à éviter
Ne combinez pas les deux sur la même page. Si le robots.txt bloque la page, Google ne peut pas la lire. Il ne voit donc jamais la balise noindex.
Résultat : la page reste dans les résultats, alors que vous vouliez l’en sortir. Pour qu’un noindex fonctionne, la page doit rester ouverte aux robots.
Un exemple de métier
Un avocat crée une page « merci pour votre demande », affichée après le formulaire de contact. Elle n’a rien à faire sur Google. La bonne solution : noindex, pas robots.txt.
À l’inverse, si votre site entier n’apparaît pas, le problème est peut-être ailleurs. Notre guide pourquoi votre site n’apparaît pas sur Google passe en revue toutes les causes possibles, robots.txt compris.
Retenez la règle : robots.txt pour guider, noindex pour cacher, mot de passe pour protéger.
Quelles sont les erreurs à éviter dans un robots.txt ?
Les erreurs classiques : laisser « Disallow: / » après la création du site, bloquer les fichiers de mise en forme, mal nommer le fichier, ou croire qu'il protège des pages privées.
La plupart des problèmes de robots.txt ne viennent pas d’une mauvaise intention. Ils viennent d’un oubli, d’un copier-coller ou d’une extension mal réglée.
1. Le blocage total oublié
Pendant la construction d’un site, on bloque souvent les robots pour qu’ils ne voient pas un chantier. On écrit Disallow: /. Puis le site est mis en ligne… et personne ne retire la ligne.
Le site est beau, mais invisible sur Google pendant des semaines. C’est l’erreur la plus fréquente après une création ou une refonte.
2. Bloquer la mise en forme
Certains anciens fichiers bloquent les dossiers qui contiennent les styles et les scripts (les fichiers qui donnent son apparence et ses fonctions à la page). Google voit alors une page cassée, sans mise en page. Il juge mal sa qualité sur mobile.
3. Un chemin trop court
Disallow: /p semble bloquer une page précise. En réalité, il bloque tout ce qui commence par « /p » : prestations, plomberie, photos, prix. Écrivez toujours le chemin complet, avec la barre finale pour un dossier.
4. Un fichier mal nommé ou mal rangé
Robots.txtourobot.txtau lieu derobots.txt;- fichier rangé dans un sous-dossier ;
- fichier enregistré en .doc au lieu de texte brut.
Dans tous ces cas, les robots ne le trouvent pas.
5. Le croire protecteur
Lister vos dossiers sensibles dans le robots.txt revient à les afficher en vitrine. Le fichier est lisible par tous.
6. Utiliser des consignes que Google ignore
Certains fichiers contiennent encore Noindex: ou Crawl-delay:. Google ne les prend pas en compte. Elles donnent une fausse impression de contrôle.
7. Modifier sans vérifier
Après un changement d’extension, de thème ou d’hébergeur, le fichier peut changer sans prévenir. Un contrôle rapide après chaque intervention évite les mauvaises surprises.
Si votre site est une boutique ou a déjà connu plusieurs refontes, ces erreurs se cumulent vite. C’est précisément ce que notre service de SEO technique vérifie et corrige, avec le reste de la base technique.
Comment créer ou modifier son robots.txt sur WordPress, Wix ou Shopify ?
WordPress, Wix et Shopify créent un robots.txt automatiquement. On le modifie via une extension SEO sur WordPress, les réglages SEO sur Wix, et un modèle du thème sur Shopify.
Bonne nouvelle : vous n’aurez presque jamais à écrire ce fichier de zéro. Les outils de création de site s’en chargent. Voyons comment y accéder selon le vôtre.
WordPress
WordPress génère un fichier automatiquement, sans qu’il existe vraiment sur votre hébergement. Pour le modifier :
- passez par une extension SEO courante, qui propose souvent un éditeur de robots.txt ;
- ou déposez un vrai fichier
robots.txtà la racine, qui remplace alors celui de WordPress.
Point à vérifier en priorité : dans Réglages › Lecture, la case « Demander aux moteurs de recherche de ne pas indexer ce site ». Si elle est cochée, votre site demande à Google de l’ignorer. Elle est souvent cochée pendant la construction, puis oubliée.
Wix
Wix crée un fichier par défaut, adapté à la plupart des sites. Un éditeur de robots.txt est disponible dans les réglages SEO du site. Pour un site vitrine, le fichier par défaut suffit en général.
Shopify
Shopify génère un fichier qui bloque déjà le panier, le paiement et les pages de compte. On peut le personnaliser via un modèle dans le code du thème. C’est réservé aux cas précis : une erreur peut toucher toute la boutique.
Google Sites et outils très simples
Ces outils gèrent le fichier eux-mêmes. En général, on ne peut pas le modifier, et ce n’est pas nécessaire.
Un site fait sur mesure
Si votre site a été développé à la main, le fichier n’existe pas toujours. Pour le créer :
- Ouvrez le Bloc-notes (ou TextEdit en mode texte brut).
- Écrivez vos lignes, par exemple une ligne
User-agent: *et une ligneSitemap:. - Enregistrez sous le nom exact
robots.txt. - Déposez-le à la racine du site, via l’espace de votre hébergeur ou un logiciel de transfert.
Google détaille ces étapes dans son mode d’emploi pour créer un fichier robots.txt.
Quel que soit l’outil, ouvrez ensuite votresite.fr/robots.txt pour vérifier que vos changements apparaissent bien.
Faut-il indiquer son sitemap dans le robots.txt ?
Oui, c'est recommandé. Une seule ligne « Sitemap: » suivie de l'adresse complète du sitemap aide tous les moteurs de recherche à trouver la liste de vos pages.
Le sitemap est un fichier qui liste les pages importantes de votre site. C’est un peu le sommaire que vous tendez aux robots. Le robots.txt est l’endroit idéal pour dire où il se trouve.
La ligne à ajouter
Elle tient en une ligne, n’importe où dans le fichier :
Sitemap: https://www.monsite.fr/sitemap.xml
Quelques règles simples :
- écrivez l’adresse complète, avec https:// et le nom de domaine ;
- utilisez la même version que votre site (avec ou sans www) ;
- si vous avez plusieurs sitemaps, mettez une ligne par sitemap.
Où trouver l’adresse de votre sitemap
Elle dépend de votre outil :
| Outil | Adresse habituelle |
|---|---|
| WordPress (sans extension) | /wp-sitemap.xml |
| WordPress avec extension SEO | souvent /sitemap_index.xml |
| Wix, Shopify | /sitemap.xml |
Pour être sûr, tapez l’adresse dans votre navigateur. Une liste de liens doit s’afficher.
Beaucoup d’outils ajoutent déjà cette ligne tout seuls. Ouvrez votre robots.txt : si la ligne Sitemap est là et que l’adresse fonctionne, c’est parfait.
Pourquoi c’est utile
Google peut trouver votre sitemap de lui-même. Mais il n’est pas le seul moteur. Bing, et les robots de certaines IA, lisent aussi le robots.txt. Une ligne Sitemap leur montre le chemin à tous, sans démarche supplémentaire.
C’est particulièrement utile pour :
- un site neuf, que personne ne connaît encore ;
- une boutique qui ajoute souvent des produits ;
- un gîte ou un restaurant qui publie des pages saisonnières.
Ce n’est pas suffisant seul
Indiquer le sitemap dans le robots.txt ne remplace pas son envoi direct à Google. L’envoi direct vous permet de voir combien de pages Google a lues et lesquelles posent problème.
La marche à suivre est détaillée dans notre article soumettre son sitemap à Google. Les deux gestes se complètent et prennent quelques minutes.
Peut-on bloquer ChatGPT et les robots des IA avec le robots.txt ?
Oui, la plupart des grandes IA ont des robots identifiés qu'on peut bloquer dans le robots.txt. Mais bloquer certains d'entre eux peut vous empêcher d'être cité dans leurs réponses.
Depuis l’arrivée de ChatGPT et des autres assistants, de nouveaux robots visitent les sites. Certains collectent des textes pour entraîner les IA. D’autres cherchent des informations pour répondre aux utilisateurs en direct.
Des robots avec un nom
Les grands acteurs donnent un nom à leurs robots, qu’on peut viser dans le robots.txt. OpenAI, l’entreprise derrière ChatGPT, les présente dans sa documentation officielle sur ses robots. On y distingue notamment :
- un robot qui sert à l’entraînement des modèles ;
- un robot qui sert à la recherche, pour afficher et citer des sites dans les réponses.
Google propose aussi une consigne nommée Google-Extended, qui concerne l’usage de vos contenus par ses IA, sans toucher à votre présence dans la recherche classique.
Exemple de consigne
User-agent: GPTBot
Disallow: /
Ces deux lignes demandent au robot d’entraînement d’OpenAI de ne rien visiter. Les autres robots ne sont pas concernés.
La vraie question : voulez-vous être cité ?
Pour un grand média, bloquer les IA peut avoir du sens. Pour un artisan ou un commerçant, c’est souvent l’inverse.
De plus en plus de gens demandent à une IA « un bon couvreur près de Nantes » ou « une boulangerie ouverte le dimanche ». Si l’IA ne peut pas lire votre site, elle ne peut pas vous recommander.
Une approche prudente pour une TPE :
- laisser ouverts les robots qui servent à la recherche et aux citations ;
- décider en connaissance de cause pour les robots d’entraînement ;
- ne rien bloquer en bloc sans savoir ce qu’on bloque.
Une limite à connaître
Comme pour Google, le robots.txt reste une demande polie. Les grands acteurs disent la respecter. Des robots moins sérieux peuvent l’ignorer.
Les noms des robots et leurs rôles évoluent. Vérifiez la documentation de chaque outil avant de modifier votre fichier.
Pour aller plus loin sur la façon d’apparaître dans les réponses des assistants, lisez notre guide être cité par ChatGPT et les IA.
Comment vérifier que son robots.txt fonctionne bien ?
Ouvrez votre robots.txt dans le navigateur, cherchez la ligne « Disallow: / », puis consultez l'outil gratuit de Google pour votre site : il signale les pages bloquées et les erreurs du fichier.
Un contrôle de dix minutes suffit pour un petit site. Faites-le après la mise en ligne, après une refonte et après tout changement d’extension ou d’hébergeur.
Étape 1 : la lecture rapide
Ouvrez votresite.fr/robots.txt et posez-vous trois questions :
- Y a-t-il une ligne
Disallow: /seule, sousUser-agent: *? Si oui, tout le site est bloqué. - Les pages qui vous rapportent des clients (services, produits, contact) sont-elles concernées par une ligne Disallow ?
- La ligne Sitemap est-elle présente, et son adresse fonctionne-t-elle ?
Étape 2 : demander à Google
Google propose un outil gratuit pour suivre votre site. Il contient un rapport consacré au robots.txt. Vous y voyez :
- la dernière version du fichier lue par Google ;
- la date de cette lecture ;
- les éventuelles erreurs ou lignes non comprises.
Un autre outil du même service permet de tester une page précise. S’il affiche « bloquée par le fichier robots.txt », vous savez d’où vient le problème.
Si vous ne l’utilisez pas encore, notre guide sur l’outil gratuit de Google pour suivre votre site explique comment l’installer et le lire, sans jargon.
Étape 3 : laisser le temps
Google garde une copie de votre robots.txt en mémoire, généralement jusqu’à une journée. Une correction n’est donc pas visible à la minute. Les pages débloquées, elles, peuvent mettre plusieurs jours à revenir.
Les signes qui doivent alerter
- Votre site n’apparaît pas quand on tape son nom exact sur Google.
- Un résultat affiche « aucune information n’est disponible pour cette page ».
- Le nombre de pages connues par Google chute après une refonte.
Un exemple concret
Un menuisier refait son site. Deux semaines plus tard, plus aucun appel ne vient d’internet. Dans neuf cas sur dix, le premier réflexe est le bon : ouvrir le robots.txt et vérifier la case de visibilité de l’outil de création.
Si tout semble normal et que le problème persiste, la cause est ailleurs : redirections, pages en double, site trop lent.
Le robots.txt a-t-il un effet sur la vitesse et la santé technique du site ?
Le robots.txt ne rend pas votre site plus rapide pour vos visiteurs. Mais mal réglé, il peut empêcher Google de bien afficher vos pages et gaspiller ses visites sur les gros sites.
On range souvent le robots.txt dans le même tiroir que la vitesse, le sitemap et la sécurité. C’est logique : tout cela forme la base technique d’un site. Mais chaque élément joue un rôle différent.
Sur la vitesse : pas d’effet direct
Vos clients ne voient jamais le robots.txt. Il ne charge pas vos pages plus vite et ne les ralentit pas. Un site lent le restera, quel que soit ce fichier.
Pour la vitesse, ce qui compte, ce sont les images trop lourdes, l’hébergement ou les extensions en trop. Vous pouvez mesurer tout cela grâce à notre méthode pour tester la vitesse de son site internet.
Sur l’affichage vu par Google : un vrai effet
Google ne lit pas seulement le texte. Il affiche la page comme un téléphone le ferait, pour juger de son confort. S’il ne peut pas charger les styles et les scripts, la page lui paraît cassée.
C’est l’une des raisons pour lesquelles Google regarde des indicateurs de confort de navigation. Ils sont expliqués dans notre article sur les Core Web Vitals et pourquoi Google les regarde.
Sur les gros sites : le temps des robots
Sur une boutique de plusieurs milliers de produits, les robots ne visitent pas tout à chaque passage. S’ils s’égarent dans des filtres et des pages de tri, vos nouveaux produits attendent plus longtemps avant d’être vus.
Un robots.txt bien réglé aide les robots à aller à l’essentiel. Sur un site vitrine de dix pages, cet effet est négligeable.
Une base propre, puis le reste
Le robots.txt n’est qu’une pièce du puzzle. Un site visible sur Google combine :
- un fichier qui ne bloque rien d’important ;
- un sitemap transmis ;
- des pages rapides sur mobile ;
- un contenu clair sur vos services et votre zone.
C’est ce travail complet, technique et local, qui a été mené pour TB Rénovation & Nettoyage, couvreur en Loire-Atlantique : site et référencement local, de 2 à 63 visites Google par jour entre juin 2025 et octobre 2026.
Commencez par le plus simple : ouvrez votre robots.txt aujourd’hui. Une minute de vérification peut éviter des mois d’invisibilité.
🎬 Nos vidéos sur le sujet
❓ Questions fréquentes
Le robots.txt est-il obligatoire pour un site professionnel ?
Non, aucune loi ni aucune règle de Google ne l'impose. Un site sans robots.txt est visité normalement par les robots, qui considèrent alors que tout est ouvert. Le fichier devient utile pour une boutique, un site avec espace client ou un site de grande taille. Pour un site vitrine, l'important est surtout qu'un fichier existant ne bloque aucune page utile.
Combien de temps Google met-il à prendre en compte une modification ?
Google garde une copie du fichier en mémoire, en général jusqu'à une journée. Votre modification est donc lue assez vite. En revanche, les pages qui étaient bloquées peuvent mettre plusieurs jours, parfois plus, à revenir dans les résultats. Le délai dépend de la fréquence à laquelle Google visite votre site. Un sitemap à jour aide à accélérer les choses.
Un robots.txt mal réglé peut-il faire baisser mon référencement ?
Oui, et parfois brutalement. Une ligne qui bloque tout le site, ou vos pages de services, empêche Google de les lire. Elles peuvent perdre leur description puis leur place dans les résultats. Bloquer les fichiers de mise en forme peut aussi donner à Google une image dégradée de vos pages. D'où l'intérêt d'un contrôle après chaque refonte.
Les robots malveillants respectent-ils le robots.txt ?
Non. Le fichier repose sur la bonne volonté des robots. Google, Bing et les grands acteurs sérieux le respectent. Les robots qui aspirent des adresses e-mail ou cherchent des failles l'ignorent souvent. Pour vous protéger, il faut d'autres outils : mots de passe solides, mises à jour régulières, pare-feu proposé par votre hébergeur ou par une extension de sécurité.
Le robots.txt protège-t-il les données de mes clients ?
Non, il ne protège aucune donnée. Il est même lisible par n'importe qui. Les devis, factures, fiches clients ou documents d'un espace membre doivent être protégés par un identifiant et un mot de passe. Pour des données personnelles, vos obligations de sécurité vont bien au-delà de ce fichier. Un hébergement sérieux et des accès bien gérés sont indispensables.
Que signifie la ligne Crawl-delay dans un robots.txt ?
Elle demande aux robots d'attendre quelques secondes entre deux visites de pages, pour ménager le serveur. Certains moteurs la respectent, mais Google l'ignore. Si votre site est ralenti par les visites de robots, la solution passe plutôt par l'hébergeur ou par un réglage adapté. Sur un petit site, cette ligne est en général inutile.
Peut-on avoir un robots.txt différent pour chaque partie du site ?
Non, il y a un seul fichier par adresse de site, placé à la racine. Toutes les consignes pour toutes les parties du site vont dans ce même fichier. Seule exception : un sous-domaine, comme boutique.monsite.fr, est considéré comme un site à part. Il a donc son propre robots.txt, à vérifier séparément.
Un projet en tête ? On en parle 15 minutes, sans engagement.
📩 Prendre contact
Écrit par
Alain Houessou
Fondateur · SEO, automatisation et IA
J'aide les artisans, commerçants et TPE à gagner des clients sur Google et dans les réponses des IA : sites, référencement, automatisation. Un plan clair et un suivi chiffré.
Parlons de votre projet →📚 Les autres articles du même guide
- Le guide completIndexation Google : pourquoi votre site n'apparaît pas (et quoi faire) 🔍Votre site reste invisible sur Google ? Comprenez l'indexation, vérifiez quelles pages Google connaît et corrigez vous-même les blocages les plus courants, étape par étape.Lire →
- Core Web Vitals : c'est quoi et pourquoi Google les regarde ⚡Les Core Web Vitals expliqués sans jargon : les trois mesures de Google, comment tester votre site gratuitement et quoi corriger pour offrir des pages rapides et stables.Lire →
- Demande d'indexation Google : combien de temps et comment accélérer ⏱️Combien de temps Google met-il à indexer une page, comment lui faire une demande d'indexation et quoi vérifier sur WordPress quand votre site reste invisible ?Lire →
- Google sitemap : le soumettre à Google et corriger les erreurs 🗺️Trouver votre sitemap, l'envoyer à Google en deux minutes, lire le rapport et corriger les erreurs courantes : le mode d'emploi clair pour artisans, commerçants et TPE.Lire →
- Référencement Google Image : faire apparaître vos photos 📸Nom de fichier, texte alternatif, format, poids, sitemap : la méthode pas à pas pour que les photos de votre entreprise soient trouvées sur Google Images.Lire →
- Sitemap : c'est quoi, à quoi ça sert et comment le créer 🗺️Sitemap XML, à quoi ça sert, comment le créer, le générer ou le trouver sur votre site : des explications simples, un exemple concret et les erreurs à éviter.Lire →
- Supprimer un référencement Google : retirer une page pas à pas 🧹Une page gênante, une vieille image ou une fiche d'entreprise fermée sur Google ? Les méthodes simples pour les retirer, les délais réels et les pièges à éviter.Lire →
- Vitesse de site internet : la tester gratuitement et l'améliorer ⚡Tester gratuitement la vitesse de votre site, lire les résultats sans jargon, trouver ce qui le ralentit et l'accélérer pas à pas, même sans être technicien.Lire →
🛠️ Nos services
- Agence SEO et GEOÊtre en tête sur Google et cité par les IA, grâce à du contenu utile produit à grande échelle.
- Agence de publicité en ligneGoogle Ads, Facebook, Instagram, TikTok, LinkedIn, YouTube : des campagnes pilotées au nombre de demandes.
- Community managerCommunity management : calendrier, visuels, vidéos courtes, YouTube, réponses aux messages.
- Prospection B2BFichiers de dirigeants vérifiés, campagnes e-mail personnalisées, prospection LinkedIn.
- Emailing et newslettersNewsletter et séquences automatiques : bienvenue, après achat, relance de devis, panier abandonné, réactivation.
- SMS et WhatsApp marketingRappels de rendez-vous, suivi de commande, offres : là où vos clients lisent vraiment leurs messages.
- Avis Google et e-réputationDemander des avis au bon moment, répondre à chacun, les afficher sur votre site.
- Programme de fidélité et parrainageProgramme de points, offres réservées, parrainage : récompenser ceux qui reviennent et ceux qui recommandent.
- CRM et relation clientUn fichier clients clair, un historique de chaque échange, un assistant qui répond aux questions simples.
- Assistant IA pour entrepriseUn assistant qui répond sur votre site et WhatsApp, prend des rendez-vous, et un assistant interne pour votre équipe.
- Agence d'automatisation IADevis, factures, relances, rapports, tri des e-mails : ce que vous faites à la main chaque semaine, fait tout seul.
- Logiciel de gestion sur mesureStock, commandes, ventes, compta : une application faite pour votre façon de travailler, sans abonnement.
- Formation à l'IAApprendre à votre équipe à utiliser l'IA au quotidien, sur ses vraies tâches.
- Création de site internetUn site clair qui présente votre métier, vos réalisations et vos avis, avec un contact en un clic.
- Création de site e-commercePrestaShop, Shopify ou WooCommerce : fiches produits, catégories, paiement, avis, vitesse.
- Refonte de site internetModerniser un site existant sans perdre les visites ni les pages qui rapportent.
- Site internet fait avec l'IAUn site professionnel livré vite et à petit prix, grâce à l'IA, relu et réglé à la main.
- Maintenance et sécurité de siteMises à jour, sauvegardes, protection contre le spam et les attaques, surveillance du serveur, vitesse.
- Audit SEO et présence en ligneSite, Google, avis, réseaux, outils : ce qui marche, ce qui manque, et ce que ça vous coûte.
- Accompagnement digitalUne feuille de route priorisée, puis un point chaque mois pour décider et avancer.
🧭 Nos autres guides
- Agents et assistants IAAgent IA : définition simple et exemples pour une petite entreprise 🤖
- IA, RGPD et réglementationAI Act : ce que la loi européenne sur l'IA change pour une TPE
- Audit SEOAudit SEO : c'est quoi, à quoi ça sert et que doit-il contenir ? 🔍
- Automatisation des tâchesAutomatisation : définition et exemples concrets pour une TPE ⚙️
- PrestaShopAvis sur PrestaShop : à qui convient-il vraiment en e-commerce ? 🛒
- WixAvis sur Wix : que vaut-il vraiment pour un site professionnel ?
- Liens (backlinks et netlinking)Backlinks : c'est quoi et pourquoi ils comptent pour Google 🔗
- Préparer son projet de siteCahier des charges de site internet : modèle et exemple à remplir 📝
- Calendrier éditorialCalendrier éditorial : à quoi ça sert et comment le construire 🗓️
- ChatbotsChatbot : définition, fonctionnement et usages pour votre entreprise 🤖
- DevisComment faire un devis : la méthode complète pour artisan 📝
- ChatGPT, Claude, Gemini, Copilot au travailComment utiliser ChatGPT au travail : le guide pour les patrons de TPE
- Maintenance et sécuritéContrat de maintenance de site internet : ce qu'il doit contenir 📝
- Adresse mail professionnelleCréer une adresse mail professionnelle : le guide complet pour les TPE 📧
- Boutique en ligneCréer une boutique en ligne : les étapes pour un commerçant 🛒
- Programme et carte de fidélitéCréer un programme de fidélité pour son commerce, étape par étape 🎁
- Créer son siteCréer un site internet gratuit : ce que vous obtenez vraiment 🛠️
- CRM et fichier clientCRM : définition simple et utilité pour une petite entreprise 📇
- E-réputationE-réputation d'entreprise : définition, enjeux et exemples concrets
- EmailingEmailing : le guide pour démarrer quand on est artisan ou TPE 📬
- Mail de prospectionExemples de mails de prospection qui obtiennent des réponses ✉️
- Facebook et Instagram AdsFacebook Ads : comment faire de la publicité Facebook pour son entreprise
- Facturation électroniqueFacturation électronique : ce qui change pour les TPE et artisans
- Fidélisation clientFidélisation client : la méthode pour faire revenir vos clients 🔁
- Génération de leadsGénération de leads : définition et méthodes pour une petite entreprise 🎯
- Visibilité dans les IA (GEO)GEO SEO : c'est quoi, et comment être cité par ChatGPT et les IA 🤖
- Relation clientGestion de la relation client : l'organiser dans une petite entreprise 🤝
- Google AdsGoogle Ads, c'est quoi et comment ça marche pour une petite entreprise ?
- Avis GoogleAvis clients Google : le guide complet pour votre petite entreprise ⭐
- Fiche Google Business ProfileGoogle My Business : c'est quoi et à quoi ça sert pour une entreprise
- Search Console et suivi de positionGoogle Search Console : à quoi ça sert pour une TPE
- HébergementHébergement de site web : comment ça marche et comment le choisir 🖥️
- Landing page et conversionLanding page : définition, exemples et structure qui convertit
- LinkedIn Ads et YouTube AdsLinkedIn Ads : faire de la publicité sur LinkedIn pour toucher des pros 💼
- FacturationLogiciel de facturation : comment choisir quand on est artisan ou TPE 🧾
- Logiciel de gestion et application métierLogiciel de gestion d'entreprise : lequel choisir pour une TPE ? 🧰
- Gestion de stockLogiciel de gestion de stock : comment choisir le bon pour votre TPE 📦
- Prise de rendez-vous et réservation en ligneLogiciel de réservation en ligne : comment choisir pour votre activité 📅
- Devis, factures et relancesLogiciel de facturation et devis : comment bien choisir en TPE 🧾
- Marketing digital pour TPEMarketing digital : définition simple et ce que ça change pour une TPE 💡
- Mentions légales et RGPDMentions légales site internet : les obligations et un modèle simple ⚖️
- Optimisation des pagesMeta description : à quoi elle sert et comment bien l'écrire ✍️
- Mots-clésMots-clés SEO : comment trouver les bons pour votre entreprise 🔑
- n8n, Make, Zapiern8n vs Make vs Zapier : quel outil d'automatisation choisir ? ⚙️
- NewsletterNewsletter : à quoi elle sert et comment la lancer dans une TPE
- Nom de domaineNom de domaine : c'est quoi et à quoi ça sert pour votre entreprise ?
- Panier abandonnéPanier abandonné : pourquoi vos clients partent et comment les récupérer
- Communication d'entreprisePlan de communication : à quoi ça sert et que doit-il contenir ?
- Parrainage clientProgramme de parrainage client : le mettre en place pas à pas 🤝
- Prompts IAPrompt ChatGPT : définition et méthode pour obtenir de bonnes réponses
- Prospection commercialeProspection commerciale : comment s'y prendre quand on est une TPE 🎯
- Prospection téléphoniqueProspection téléphonique : la méthode pour décrocher des rendez-vous 📞
- Publicité en lignePublicité en ligne : les vraies options pour une TPE 📣
- Site et IAQuelle IA pour créer un site internet ? Le comparatif honnête 🤖
- Bases du référencement naturelRéférencement Google : comment ça marche pour une petite entreprise 🔎
- SEO local et Google MapsRéférencement Google Maps : comment être mieux classé près de chez vous 📍
- Refonte de siteRefonte d'un site WordPress : la méthode étape par étape 🛠️
- Relance de devisRelance devis : quand et comment relancer un client sans réponse 📩
- Relance d'impayésFacture impayée : la marche à suivre, de la relance au recouvrement
- Réseaux sociaux pour une entrepriseRéseaux sociaux pour une entreprise : par où commencer ?
- Satisfaction et avis clientsSatisfaction client : comment la mesurer et l'améliorer dans une TPE 📊
- Contenu et rédactionContenu SEO : écrire pour Google et pour vos clients ✍️
- SEO selon votre CMSSEO WordPress : optimiser son site pas à pas 🚀
- Outils SEOOutils SEO : lesquels utiliser quand on dirige une TPE 🔧
- ShopifyShopify, c'est quoi ? Fonctionnement et usage expliqués simplement 🛒
- Site vitrineSite vitrine : définition, contenu et utilité pour une petite entreprise
- SMS marketingSMS marketing : le guide complet pour commerçants et artisans 📱
- Tableau de bordTableau de bord de gestion : les chiffres à suivre dans une TPE
- TikTok AdsTikTok Ads : le guide de la publicité TikTok pour petites entreprises 🎯
- Trouver des clientsTrouver des clients : les méthodes qui marchent pour votre entreprise
- Prospection LinkedInTrouver des clients sur LinkedIn quand on est une TPE : la méthode 🤝
- Vitesse et mobileTest de vitesse de site : les outils et comment lire les résultats ⚡
- WhatsApp BusinessWhatsApp Business : à quoi ça sert et comment l'utiliser au quotidien 📱
- WordPressWordPress, c'est quoi ? Ce que ça change pour le site de votre entreprise
- WooCommerceWordPress e-commerce : créer votre boutique WooCommerce pas à pas 🛒
📈 Nos cas clients
- Cabinet de pédicurie-podologiePodologue du sport (cabinet)Un site refait de A à Z : design, photos restaurées, nouveau logo, mise en ligne sans perdre le référencement.
- E-commerce d'équipement de chasse et de tirArmurerie NéASite refait, contenu publié en série et une application de gestion sur mesure pour une boutique en ligne d'équipement.
- Couvreur et nettoyage de toitures, Loire-AtlantiqueTB Rénovation & NettoyageUn cocon SEO de plus de 100 pages pour couvrir chaque service dans chaque commune du département.
- Entraîneur privé, MontréalRaphaël FitnessAudit du site d'un coach sportif, plan de référencement en 20 jours et une douzaine d'articles de blog écrits pour attirer ses futurs clients.
- Boutique en ligne de rideaux et décorationBoutique Shopify de décorationNeuf articles reliés entre eux qui répondent aux questions avant l'achat et renvoient vers la bonne collection.