Meilleur fichier Robots.txt personnalisé pour Blogger / Blogspot

Tout le monde peut bloguer, c’est amusant ! Mais si vous voulez vous lancer dans les blogs professionnels, vous devrez apprendre quelques détails techniques liés à l’optimisation des moteurs de recherche. Les nouveaux blogueurs commencent souvent leur parcours de blogs en publiant du contenu sur Blogger / Blogspot. L’activation d’un fichier robots.txt personnalisé sur ces plates-formes est très importante. Les gens demandent souvent quel serait le meilleur paramètre personnalisé de robots.txt pour leur blog. Apprenons tout aujourd’hui !

Robots.txt est un simple fichier texte qui informe les robots d’exploration Web (également appelés les araignées ou alors robots) concernant les parties d’un site Web ou d’un blog qui seront suivies et celles qui ne devraient pas être suivies.

Pourquoi le fichier Robots.txt est-il important ?

Eh bien, le succès de tout blog professionnel dépend généralement de la façon dont le moteur de recherche Google classe votre blog. Nous stockons une série de messages / pages / fichiers / répertoires dans la structure de notre site Web. Souvent, nous ne voulons pas que Google indexe tous ces composants. Par exemple, vous pouvez avoir un fichier à usage interne, et il n’est d’aucune utilité pour les moteurs de recherche. Vous ne voulez pas que ce fichier apparaisse dans les résultats de recherche. Par conséquent, il est sage de masquer ces fichiers aux moteurs de recherche.

Le fichier Robots.txt contient des directives que tous les principaux moteurs de recherche respectent. Avec ces directives, vous pouvez demander aux araignées Web d’ignorer certaines parties de votre site Web / blog.

bannière du fichier robots.txt

Robots.txt personnalisé pour Blogger / Blogspot

Étant donné que Blogger / Blogspot est un service de blog gratuit, le fichier robots.txt de votre blog n’était pas directement sous votre contrôle. Mais maintenant, Blogger a permis d’apporter des modifications et de créer un fichier Robots.txt personnalisé pour chaque blog. Robots.txt pour un blog Blogger / Blogspot ressemble généralement à ceci :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Ajouter un fichier Robots.txt personnalisé dans Blogger / Blogspot

  • Accédez au tableau de bord de votre blogueur
  • Ouvert Paramètres > Préférences de recherche > Traqueurs et indexation > Robots.txt personnalisé > Éditer > Oui
  • Ici, vous pouvez apporter des modifications au fichier robots.txt.
  • Après avoir apporté les modifications, cliquez sur Enregistrer les modifications bouton

capture d'écran montrant comment ajouter un fichier robots.txt personnalisé dans blogger / blogspot

Afficher le fichier Robots.txt personnalisé existant

Pour afficher le fichier robots.txt personnalisé existant pour votre blog, accédez à l’URL suivante :

http://www.votre blog.blogspot.com / robots.txt

Inutile de dire, remplacez votre blog avec le nom de votre blog.

Explication du fichier Custom Robots.txt

Il existe plusieurs directives simples dans le fichier Custom Robots.txt. Voici l’explication de base de ces directives afin que vous puissiez apporter des modifications éclairées à votre fichier.

Caractères génériques

Les caractères génériques suivants sont souvent utilisés dans les fichiers robots.txt.

* signifie tout, tout

/ signifie répertoire racine

Agent utilisateur

Cette directive indique les robots d’exploration Web auxquels les paramètres robots.txt s’appliqueront.

Refuser

Indique aux robots d’exploration Web de ne pas explorer le répertoire ou le fichier spécifié. Par exemple

Ne pas permettre: / Je dirais au robot d’indexation de ne rien explorer sur votre blog (car il n’autorise pas le répertoire racine).

Ne pas autoriser : / dir / * demanderait au robot d’indexation de n’explorer aucun fichier sous /pour toi/ annuaire.

Ne pas autoriser : /dir/myfile.htm Cela demanderait au robot d’indexation de ne pas suivre monfichier.htm bas pour toi dossier. Le robot d’exploration explorera tous les autres fichiers sous pour toi annuaire.

Permettre

Cette directive demande spécifiquement à un robot d’exploration Web d’explorer un répertoire ou un fichier particulier. Par exemple:

Ne pas autoriser : /dir/myfile.htm

Autoriser : /dir/monfichier.htm

Le sens général des deux lignes ci-dessus est que le traqueur doit suivre /dir/monfichier.htm

La première ligne verrouille le tracker, mais la deuxième ligne permet au tracker de ramper à nouveau.

Plan du site

Le plan du site est un fichier très important sur votre site/blog. Ce fichier contient la structure de votre site Web. Aidez les robots d’exploration à trouver leur chemin dans votre blog. Le Plan du site: La directive indique au robot d’exploration l’emplacement de votre fichier sitemap. Dans le cas de Blogger / Blogspot, vous pouvez laisser cette ligne telle quelle.

C’est tout! Si vous avez des questions sur le fichier robots.txt personnalisé pour Blogger / Blogspot, veuillez me le faire savoir dans la section commentaires. Je ferai de mon mieux pour vous aider. Merci pour la connexion avec TechWelkin !

Leave a Comment