Robots.txt et url restreint sur google webmastertools

Support et discussions sur les différentes téchniques de réécriture d'url (url rewriting) pour phpBB3 - Olympus.

Modérateur: Modérateurs

Robots.txt et url restreint sur google webmastertools

Messagede petitboo » Ven Jan 16, 2009 10:34 am

Bonjour a tous

J'ai mis en place mon fichier robots.txt apres 2 mois sur mon forum (rewrite avancé)
en allant sur google webmastertools le fichier robots.txt bloque 3295 url
j'ai pris peur et j'ai supprimer le fichier robots.txt

J'aimerais avoir votre avis sur ce probleme

Merci pour vos contributions
petitboo
PR0
PR0
 
Messages: 51
Inscription: Mar Mai 27, 2008 9:35 am

Publicité

Messagede SeO » Sam Jan 17, 2009 12:42 pm

En fait, cela dépend des urls concernées, donc ne le remet pas tout de suite en place et postes quelques exemple d'url que google considère comme interdites.
SeO
Admin
Admin
 
Messages: 6334
Inscription: Mer Mar 15, 2006 9:41 pm

Messagede petitboo » Sam Jan 17, 2009 2:39 pm

Merci pour ta réponse

voila une petite liste d'url

http://www.enceinte.com/forum/post100096.html

-http://www.enceinte.com/forum/post102562.html

-http://www.enceinte.com/forum/post103700.html

-http://www.enceinte.com/forum/post18214.html

-http://www.enceinte.com/forum/post98999.html

-http://www.enceinte.com/forum/viewforum.php?f=111&st=0&sk=t&sd=d&start=25

-http://www.enceinte.com/forum/viewtopic.php?f=100&t=3159&st=0&sk=t&sd=a&start=10

-http://www.enceinte.com/forum/viewtopic.php?f=65&p=89885

-http://www.enceinte.com/viewforum.php?f=65

-http://www.enceinte.com/viewforum.php?f=79&st=0&sk=t&sd=d&start=0

Et des pages étranges

-http://www.enceinte.com/index.forum,404 (Introuvable),1
pages,01/01/09

-http://www.enceinte.com/forum/styles/subsilver2/template/%7Bhistory_row.U_VIEW_MESSAGE%7D,404 (Introuvable),2 pages,14/01/09

Voila

Merci pour ton coup de main
petitboo
PR0
PR0
 
Messages: 51
Inscription: Mar Mai 27, 2008 9:35 am

Messagede SeO » Sam Jan 17, 2009 3:00 pm

Donc, toutes les url (qui marchent) sont convenablement redirigées, il faut juste croire que google à encore besoin de temps pour vraiment les oublier.

Pour les deux 404, vu la forme, cela doit être des liens qui ont été à un moment visibles quelque part, genre dans un post, rien de grave en somme.

Donc attends encore pour mettre le robots.txt, si il y a une écrasante majorité de postxx.html, tu peux à un moment mettre le robots sans la ligne pour les post, et la mettre plus tard encore.
SeO
Admin
Admin
 
Messages: 6334
Inscription: Mer Mar 15, 2006 9:41 pm

Messagede petitboo » Sam Jan 17, 2009 3:19 pm

A ton avis j'attends combien de temps?

Car j'ai tout enlevé

Merci pour tes infos
Dernière édition par petitboo le Sam Jan 17, 2009 7:17 pm, édité 2 fois.
petitboo
PR0
PR0
 
Messages: 51
Inscription: Mar Mai 27, 2008 9:35 am

Messagede jcg11290 » Sam Jan 17, 2009 3:23 pm

Salut,

En voyant ce topic, j'avais été faire un petit tour ce matin sur google et j'ai trouvé 21.708 accès restreint par le robots.txt.

Tous principalement en "postxxxx.html" ou du style "viewforum.php?f=47&mark=topics_sub", "viewto...mp;sid=bdeecb602ea2c61b591abe564e53"..

Toutes ces urls correspondent à des topics de 2007,2006,2005 ..

J'ai donc supprimé la ligne pour les posts dans le robots.txt et on verra demain ce qu'il raconte..

J'en ai profité aussi pour mettre cette ligne
Disallow: /forum/album.php qu'il me signale introuvable puisque "album" est passé en "gallery"..
Je ne sais pas si j'ai bien fait... ?

:wink:
Avatar de l’utilisateur
jcg11290
phpBB SEO Team
phpBB SEO Team
 
Messages: 902
Inscription: Lun Juin 19, 2006 4:11 pm
Localisation: Carcassonne(11)

Messagede SeO » Sam Jan 17, 2009 3:40 pm

Alors il est probable que google nous ressorte des vieux liens d'on ne sait trop ou, j'ai déjà observé le phénomène plusieurs fois, avec même des vielles version (plus d'une année de retard) du cache de ces pages, un peu comme si un ou deux serveur avait craché et qu'il repartaient avec un vieux backup.

Cela se règle en général assez vite.
Pour le robots.txt, c'est au choix si les urls avaient bien disparue avant un tel retour, mais laisser le zéro dupe seul s'occuper de la situation est de manière générale plus sûr.

Pour la durée, deux mois à priori, à partir de la réapparition de ces urls, mais il est toujours bon de vérifier qu'il n'en traînent pas trop dans l'index de google avant de le remettre.
SeO
Admin
Admin
 
Messages: 6334
Inscription: Mer Mar 15, 2006 9:41 pm

Messagede jcg11290 » Sam Jan 17, 2009 3:54 pm

1 an avec vieux backup, je veux bien mais 3 ans 1/2... :lol:

Il n'y a plus qu'à laisser rouler..

:wink:
Avatar de l’utilisateur
jcg11290
phpBB SEO Team
phpBB SEO Team
 
Messages: 902
Inscription: Lun Juin 19, 2006 4:11 pm
Localisation: Carcassonne(11)

Messagede petitboo » Sam Jan 17, 2009 7:20 pm

Donc je si je comprends bien il me faut attendre 2 mois avant de remettre le fichier robots.txt
petitboo
PR0
PR0
 
Messages: 51
Inscription: Mar Mai 27, 2008 9:35 am


Retourner vers mod Rewrite phpBB

 


  • Articles en relation
    Réponses
    Vus
    Dernier message

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 3 invités