| |
| |
|
|
|
|
| |
|
| |
|
| :: |
| Auteur |
Message |
alesque
Inscrit le: 09 Aoû 2006
Messages: 46
|
 Posté le: Mer Sep 13, 2006 4:33 pm Sujet du message: Robots.txt |
|
|
Bonjour,
en regardant mes stats, je me rends compte que GG visite des pages de mon forum qui (je pense) devraient être bloquées par mon robots.txt (qu'il visite régulièrement).
Je n'ai pas de truc comme : Disallow: /forum/ntopic.php dans ce fichier, dois-je le rajouter pour éviter l'erreur 404 ca-dessous ? Ou bien ce n'est pas grave et il va finir par ignorer ces pages ?
| Citation: | | [11/Sep/2006:10:55:24 +0200] "GET /forum/ntopic88.php HTTP/1.1" 404 2596 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" |
|
|
|
| Revenir en haut de page |
|
 |
|
|
dcz
Administrateur - Site Admin
Inscrit le: 28 Avr 2006
Messages: 14327
|
| Posté le: Mer Sep 13, 2006 5:14 pm Sujet du message: Re: Robots.txt |
|
|
| alesque a écrit: |
Je n'ai pas de truc comme : Disallow: /forum/ntopic.php dans ce fichier, dois-je le rajouter pour éviter l'erreur 404 ca-dessous ? Ou bien ce n'est pas grave et il va finir par ignorer ces pages ?
| Citation: | | [11/Sep/2006:10:55:24 +0200] "GET /forum/ntopic88.php HTTP/1.1" 404 2596 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" |
|
Je pense qu'il vaut mieux ajouter un disallow comme tu dis, vu que ces pages sont visitées.
Autant aider les bots à oublier ces vieux souvenirs. Les 404 c'est jamais très bon, même si les bots finissent par comprendre, c'est plus lent si on les laisser faire tout seul.
++ |
_________________
Useful links :
SEO Forum || SEO Directory || SEO phpBB || SEO phpBB3 || Search
____________________
Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Référencement phpBB3 || Recherche |
|
| Revenir en haut de page |
|
|
alesque
Inscrit le: 09 Aoû 2006
Messages: 46
|
| Posté le: Jeu Sep 14, 2006 8:37 am Sujet du message: Re: Robots.txt |
|
|
Oui, je vais faire ça alors : Disallow: /forum/ntopic.php
J'ai bon ? ou il faut mettre le "88" ou y'a un moyen pour lui dire de ne visiter aucun "ntopic" ?
Merci. |
|
|
| Revenir en haut de page |
|
|
dcz
Administrateur - Site Admin
Inscrit le: 28 Avr 2006
Messages: 14327
|
|
| Revenir en haut de page |
|
|
|
| Navigation |
Autres sujets de discussion |
|
|
|
|
|
|
|
| |
|
|
|
|
| |
|
|
|
|
| |
