Un site à propos du Robots.txt en français

Le robots.txt, ce petit fichier bien contenu des référenceurs n’avait à ce jour aucun site web dédié en français. Le site robots-txt.com vient combler ce vide en proposant un grand nombre de ressources répondant à des problématiques bien précises. D’ailleurs, l’idée est bonne puisque même le site officiel en anglais n’a pas été mis à jour depuis 2010.

Certaines ressources sont d’ailleurs très intéressante comme : comment offrir un robots.txt spécifique au HTTPS qui offre différentes solutions pour palier au risque de duplication de contenus. D’autres pages sont dédiés aux différents robots.txt pour les CMS les plus connus : WordPress, Drupal, Prestashop

Avec ce site en bookmark, vous pouvez résoudre une grande partie des problèmes de robots.txt.

On peut noter également que le site propose une page à propos du humans.txt qui est une initiative intéressante. En effet, ce fichier se veut l’équivalent du robots.txt mais au lieu de donner des instructions aux crawler, il donne des informations sur les créateurs/auteurs du site.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *