Url restreintes par Robots

[Personne]

Bonjour,

Ca fait un moment que j'étais pas allé voir les outils google et je suis un peu étonné de voir que j'ai pas mal de
"URL restreinte par un fichier robots.txt " sur des url que je ne pensais pas restreintes comme :

http://www.personnellement.net/forum/forum-map3.html
http://www.personnellement.net/forum/forum-map4.html
...

http://www.personnellement.net/forum/materiel-et-technique-vf5.html

Et bien sur l'ensemble des posts

mon robots :

[dcz]

Tout à fait normal

Les forum privés semblent interdit par robots.txt parce qu'il u a redirection HTTP 302 sur /login.php?redirect=viewforum.php&f=5&start=0 et login.php est bien interdit par le robots.txt.

Au passage une illustration du comportement des bots sur des http 302, vous comprendrez pourquoi on en veut pas avec le zéro dupe

Car le risque est bien de voir l'url source prendre la place de l'url redirigée.

Et pareil pour les liens du plan html mx sitemaps, les forums privés sont privés

Pour les 404, pareil, ce sont de vrai 404, des url que Google à choppé pendant que tu installais les mods phpBB SEO, avant que tout marche nickel.

Et c'est pas grave, une vrai 404 doit rester une vrai 404.

++

[Personne]

Je suis d'accord dcz mais les forums qui ne sont pas privés ne devraient pas être interdits...

comme celui ci...

http://www.personnellement.net/forum/materiel-et-technique-vf5.html

tout comme les sitemaps liés et ce forum

non ?

[dcz]

Va falloir que tu révises tes autorisations : -http://www.personnellement.net/forum/login.php?redirect=viewforum.php&f=5&start=0

C'est pas un forum public

++

[Personne]

Je l'ai passé en public il y'a 1 ou 2 semaines...

Mais j'avais pas vérifié en me deconnectant...
Mais il reste inaccessible y'a un cache à vider qq part ?

[dcz]

non, juste des autorisations à régler, lire et voir pour tous

[Personne]

put... y'a des fois je te jure...

Si je pouvais je me mettrai de coups de lattes

Merci

[Personne]

Bon je reviens dessus car j'en ai encore

URL restreintes par un fichier robots.txt (3058)

j'ai tout passé en voir et lire pour tous ormis 4 forums "privés"
et j'en ai toujours des brouettes pleines ???

pourtant quand je regarde le lien que tu testes plus haut
http://www.personnellement.net/forum/login.php?redirect=viewforum.php&f=5&start=0

ben il me demande de me logguer alors qu'il est bien en voir et lire pour tous

En fait il correspond à cela :

http://www.personnellement.net/forum/materiel-et-technique-vf5.html

je comprends pas tout ?

[dcz]

Tu trouve pas normal qu'un lien spécifiant login.php te renvois vers le login ?

En fait, ce lien, c'était celui sur lequel on tombait quand on allait voir ton forum n°5 avant qu'il ne soit tout à fait public, ce qui n'est plus le cas désormais, mais le lien explicite spécifiant le login remplis toujours son rôle.

Peu importe à ce stade que tu sois loggué, pas loggué ou que la cible de redirection soit public ou prive, en suivant un lien avec login.php, tu demande te logguer, tu te loggues

Du coup, pas grand chose à faire, tu pourrais purger la liste des url interdite par robots.txt, mais bon, c'est déjà assez clair le disallow.

Et interdire login.php est de ce point de vu primordiale. Sans cela tu aurais plein de pages genre forum/login.php?redirect=viewforum.php&f=5&start=0 en cache.

++

[Personne]

[dcz]

Ennuyeux, c'est tout de même une question de point de vu, si Google ne t'en avait jamais parlé, tu n'en aurais probablement rien su ... Il te dis juste que les url des post sont interdites, ce qui est notre but.

Donc, le truc, c'est juste que tu as dû mettre le disallow sur post un peu après la mise en place de la réécriture d'url, et du coup, Google avait déjà commencé à crawlé ces url, que pour le coup nous voulons vraiment interdire.
Il te dis ce que tu sais déjà, les postxx.html sont interdit ... Et il t'en aurait jamais parlé si tu avais mis en place le robots.txt un chouilla plus vite.

C'est en tous cas sans incidences sur ton référencement.

++

[Personne]

ok merci