Vérifier
Vérifier le robots.txt
Pages publiques uniquement, une à la fois
Gratuit, jusqu’à 30 demandes par 10 minutes par visiteur.
Uniquement public, saisi par vous
Snoei lit uniquement les pages que tout le monde peut voir sans connexion, et uniquement l’adresse que vous saisissez. Il ignore les pages de connexion.
Ni adresses e-mail ni numéros de téléphone
Snoei refuse de les collecter. Les liens mailto: et tel: sont seulement comptés, jamais affichés ni exportés.
Le droit d’auteur reste
Les textes, tableaux et images appartiennent à ceux qui les ont créés. Utilisez-les pour vérifier ou pour citer avec la source, pas pour les reprendre.
Une page à la fois
Pas d’exploration de sites entiers. Snoei lit ce que vous indiquez, vérifie tout au plus les liens ou versions linguistiques de cette page, respecte robots.txt et garde un rythme lent.
Comment ça marche
Vérifier le robots.txt en trois étapes
Collez l’adresse
Du site ou d’une de ses pages ; Snoei regarde le /robots.txt de ce site.
Lisez les règles
Snoei affiche les groupes par robot, les sitemaps et les règles qu’il ne comprend pas, avec les numéros de ligne.
Testez un chemin
Choisissez un robot et tapez un chemin. Vous voyez aussitôt si c’est permis et quelle règle décide ; cette règle s’illumine dans le fichier.
Questions
À savoir
Quelle règle l’emporte si plusieurs correspondent ?
La règle correspondante la plus longue, selon la norme RFC 9309. Si un Allow et un Disallow sont de même longueur, Allow l’emporte. Un * signifie n’importe quoi et un $ la fin de l’adresse.
Le robots.txt est-il un verrou sur la porte ?
Non, c’est une demande adressée aux robots corrects. Pour garder vraiment quelque chose secret, placez-le derrière une connexion. Snoei respecte toujours le robots.txt.
Et si un site n’a pas de robots.txt ?
Alors tout est permis. Si le serveur renvoie une erreur (5xx), rien n’est permis pour l’instant selon la norme ; Snoei ne lit alors pas ce site.