Bonjour a tous

J'ai mis en place mon fichier robots.txt apres 2 mois sur mon forum (rewrite avancé)
en allant sur google webmastertools le fichier robots.txt bloque 3295 url
j'ai pris peur et j'ai supprimer le fichier robots.txt

J'aimerais avoir votre avis sur ce probleme

Merci pour vos contributions

En fait, cela dépend des urls concernées, donc ne le remet pas tout de suite en place et postes quelques exemple d'url que google considère comme interdites.

Merci pour ta réponse

voila une petite liste d'url

http://www.enceinte.com/forum/post100096.html

-http://www.enceinte.com/forum/post102562.html

-http://www.enceinte.com/forum/post103700.html

-http://www.enceinte.com/forum/post18214.html

-http://www.enceinte.com/forum/post98999.html

-http://www.enceinte.com/forum/viewforum.php?f=111&st=0&sk=t&sd=d&start=25

-http://www.enceinte.com/forum/viewtopic.php?f=100&t=3159&st=0&sk=t&sd=a&start=10

-http://www.enceinte.com/forum/viewtopic.php?f=65&p=89885

-http://www.enceinte.com/viewforum.php?f=65

-http://www.enceinte.com/viewforum.php?f=79&st=0&sk=t&sd=d&start=0

Et des pages étranges

-http://www.enceinte.com/index.forum,404 (Introuvable),1
pages,01/01/09

-http://www.enceinte.com/forum/styles/subsilver2/template/%7Bhistory_row.U_VIEW_MESSAGE%7D,404 (Introuvable),2 pages,14/01/09

Voila

Merci pour ton coup de main

Donc, toutes les url (qui marchent) sont convenablement redirigées, il faut juste croire que google à encore besoin de temps pour vraiment les oublier.

Pour les deux 404, vu la forme, cela doit être des liens qui ont été à un moment visibles quelque part, genre dans un post, rien de grave en somme.

Donc attends encore pour mettre le robots.txt, si il y a une écrasante majorité de postxx.html, tu peux à un moment mettre le robots sans la ligne pour les post, et la mettre plus tard encore.

A ton avis j'attends combien de temps?

Car j'ai tout enlevé

Merci pour tes infos

Salut,

En voyant ce topic, j'avais été faire un petit tour ce matin sur google et j'ai trouvé 21.708 accès restreint par le robots.txt.

Tous principalement en "postxxxx.html" ou du style "viewforum.php?f=47&mark=topics_sub", "viewto...mp;sid=bdeecb602ea2c61b591abe564e53"..

Toutes ces urls correspondent à des topics de 2007,2006,2005 ..

J'ai donc supprimé la ligne pour les posts dans le robots.txt et on verra demain ce qu'il raconte..

J'en ai profité aussi pour mettre cette ligne
Disallow: /forum/album.php qu'il me signale introuvable puisque "album" est passé en "gallery"..
Je ne sais pas si j'ai bien fait... ?

Alors il est probable que google nous ressorte des vieux liens d'on ne sait trop ou, j'ai déjà observé le phénomène plusieurs fois, avec même des vielles version (plus d'une année de retard) du cache de ces pages, un peu comme si un ou deux serveur avait craché et qu'il repartaient avec un vieux backup.

Cela se règle en général assez vite.
Pour le robots.txt, c'est au choix si les urls avaient bien disparue avant un tel retour, mais laisser le zéro dupe seul s'occuper de la situation est de manière générale plus sûr.

Pour la durée, deux mois à priori, à partir de la réapparition de ces urls, mais il est toujours bon de vérifier qu'il n'en traînent pas trop dans l'index de google avant de le remettre.

1 an avec vieux backup, je veux bien mais 3 ans 1/2...

Il n'y a plus qu'à laisser rouler..

Donc je si je comprends bien il me faut attendre 2 mois avant de remettre le fichier robots.txt