URL restreinte par un fichier robots.txt

[franseq]

Bonjour à tous,

Nous avons passé notre forum en mod rewrite, il y a environ 1 mois pour optimiser le réf. La réécriture d'url a fonctionné et j'ai constaté dans google les premiers effet du ref.
http://www.sequovia/forum

J'ai rapidement mis un robots.txt (avec les lignes classiques) et j'ai généré un sitemap xml à partir d'un site.
J'utilise régulièrement l'outil pour les webmasters de google et j'ai constaté que les URL restreintes augmentaient et concernaient de plus en plus des URL de message.
par ex http://www.sequovia.com/forum/post45.html

En testant, j'ai vu que c'etait la ligne disallow forum/posts qui excluait cet url. J'ai illico supprimé cette ligne de mon robot, mais mes url exclus continuaient à grossir.
J'ai viré le sitemap pensant que cela pouvait exclure les nouveaux post. aucune amélioration. Et j'ai fini par virer le robot.

Depuis les url restreintes diminuent mais les contenus des messages ne sont plus réferencés dans google. Je ne suis pas sur que cela soit directement lié à mes manips. Je ne sais plus comment avancer.

Pas encore desespéré mais pas loin...
Merci pour vos conseils et votre aide

[dcz]

La bienvenue

Et donc, tu devrais pas réagir aussi promptement, parce que je crois bien que tu as un peu embrouillé les choses.

Le robots.txt que l'on suggère est vraiment celui qu'il faut utiliser, les url des messages (postxx.html) doivent vraiment être interdite, c'est même très important de le faire.

phpBB utilise deux méthode différente pour liée le contenu final, les sujet et les messages, et les url des sujet, en plus d'être de loin les meilleurs pour le référencement, sont à déjà suffisant pour lister 100% des messages, chaque url de message est donc un duplicate d'une url de sujet, et il y en a autant que de messages.
Je t'assures que c'est beaucoup mieux de s'en passer.

Ce qui a du se passer, c'est que tu n'as pas fait un bon sitemap, il devait être remplis d'ulr de post, et c'est pour cela que Google t'as dis qu'il étaient interdit, il ne te l'aurait jamais dit sinon, ou alors avec beaucoup moins d'urls.

Du coup, la cure, c'est un mois de zéro duplicate avant de remettre en place le robots.txt avec les disallow que tu as retirés, c'est mieux je trouve que de ré-interdire direct des pages en cache, ça ralentit encore plus le redémarrage de l'indexation. Et quand tu remets le robots.txt, tu peux utiliser l'outil de suppression d'url de l'interface Google sitemaps pour finir de nettoyer les restes.


Et pour les plans de site Google du forum, pourquoi se priver de GYM sitemaps & RSS ?

++

[franseq]

Tout d'abord merci pour ton aide précieuse.
Effectivement mon sitemap contenait des urls de message.

Le zero duplicate est enfin installé.
Vérification faite par web snifer sur l'url du forum :
HTTP Status Code: HTTP/1.0 301 Moved Permanently
sur une url de post ou de rubrique le statut est :
HTTP Status Code: HTTP/1.0 200 OK
Je pense que tout est OK

Par contre, je ne comprends pas très bien pourquoi attendre 1 mois avant de remettre le robot? Je n'ai plus que 3 urls bloqués dans l'outil de monitoring de google.

Par ailleurs peux tu me confirmer que le robot que je dois remettre est le suivant (mode intermédiaire):
User-agent: *
Disallow: /dossierphpbb/viewtopic.php
Disallow: /dossierphpbb/viewforum.php
Disallow: /dossierphpbb/index.php?
Disallow: /dossierphpbb/posting.php
Disallow: /dossierphpbb/groupcp.php
Disallow: /dossierphpbb/search.php
Disallow: /dossierphpbb/login.php
Disallow: /dossierphpbb/privmsg.php
Disallow: /dossierphpbb/post
Disallow: /dossierphpbb/membre
Disallow: /dossierphpbb/profile.php
Disallow: /dossierphpbb/memberlist.php
Disallow: /dossierphpbb/faq.php

Encore merci pour le temps que tu passes à nous répondre.

[Arf]

A la place de dossierphpbb il faut mettre forum car ton forum est installé dans le repertorie forum et non le repertoire dossierphpbb donc cesera plus ça :

[ZENformatik]

[dcz]

Je te disais de ne pas le mettre tout de suite pour ne pas affoler les bots.

Interdire massivement des url par robots.txt peut entraîner une chute importante de la mise en cache des pages.
D'abord par ce que si la liste d'ulr est important, elle remet en cause le programme de pas mal de crawl, et comme de plus le bots vont revenir lire ton robtos.txt pas mal de fois pour être bien sûr, le temps perdu augmente encore avant que l'indexation reprenne à un rythme normal.

Le risque, c'est de voir la majorité des pages nouvellement interdites sortir du cache des moteurs de recherche avant que leur nouvelle url soient elles mêmes crawlées. Ce qui ne manquerait pas d'entraîner une baisse importante de visites depuis ces mêmes moteurs.

Les rediriger est tout à fait autre chose, la prise en compte de la nouvelle url se fait au moment de la nouvelle mise en cache, avec une période initiale ou les bots devraient crawler pas mal, en fonction du nombre de pages concernées bien sûr.
Tout le contraire donc, plus d'activité, et en général, un maintient de la position des pages et du nombre de visites pendant la transition.

Un fois que les anciennes url ont bien disparues, tu peux interdire.

Et tout cela ne concernes que les pages de contenu, je pense qu'il est mieux de mettre direct :