Bonjour,

Ca fait un moment que j'étais pas allé voir les outils google et je suis un peu étonné de voir que j'ai pas mal de
"URL restreinte par un fichier robots.txt " sur des url que je ne pensais pas restreintes comme :

http://www.personnellement.net/forum/forum-map3.html
http://www.personnellement.net/forum/forum-map4.html
...

http://www.personnellement.net/forum/ma ... e-vf5.html

Et bien sur l'ensemble des posts

mon robots :

Code: Tout sélectionner

User-agent: *
Disallow: /forum/viewtopic.php
Disallow: /forum/viewforum.php
Disallow: /forum/index.php?
Disallow: /forum/posting.php
Disallow: /forum/groupcp.php
Disallow: /forum/search.php
Disallow: /forum/login.php
Disallow: /forum/privmsg.php
Disallow: /forum/post
Disallow: /forum/membre
Disallow: /forum/profile.php
Disallow: /forum/memberlist.php
Disallow: /forum/faq.php

Il y a 2 forums que je n'ai ouvert qu'aux membres ayant plus de x posts :
http://www.personnellement.net/forum/open-bar-vf4.html
http://www.personnellement.net/forum/hu ... e-vf3.html
Et celle la je les retrouve bien dans le rapport


En plus il me dit que 18 url sont introuvables dans ce genre :
http://www.personnellement.net/forum/PHPBB_URL
http://www.personnellement.net/forum/fo ... l&start=10
http://www.personnellement.net/forum/fo ... l&start=20
http://www.personnellement.net/forum/an ... fmp10.html
http://www.personnellement.net/forum/le ... -fmp2.html


Est ce normal

Tout à fait normal

Les forum privés semblent interdit par robots.txt parce qu'il u a redirection HTTP 302 sur /login.php?redirect=viewforum.php&f=5&start=0 et login.php est bien interdit par le robots.txt.

Au passage une illustration du comportement des bots sur des http 302, vous comprendrez pourquoi on en veut pas avec le zéro dupe

Car le risque est bien de voir l'url source prendre la place de l'url redirigée.

Et pareil pour les liens du plan html mx sitemaps, les forums privés sont privés

Pour les 404, pareil, ce sont de vrai 404, des url que Google à choppé pendant que tu installais les mods phpBB SEO, avant que tout marche nickel.

Et c'est pas grave, une vrai 404 doit rester une vrai 404.

++

Je suis d'accord dcz mais les forums qui ne sont pas privés ne devraient pas être interdits...

comme celui ci...

http://www.personnellement.net/forum/ma ... e-vf5.html

tout comme les sitemaps liés et ce forum

non ?

Va falloir que tu révises tes autorisations : -http://www.personnellement.net/forum/login.php?redirect=viewforum.php&f=5&start=0

C'est pas un forum public

++

Je l'ai passé en public il y'a 1 ou 2 semaines...

Mais j'avais pas vérifié en me deconnectant...
Mais il reste inaccessible y'a un cache à vider qq part ?

non, juste des autorisations à régler, lire et voir pour tous

put... y'a des fois je te jure...

Si je pouvais je me mettrai de coups de lattes

Merci

Bon je reviens dessus car j'en ai encore

URL restreintes par un fichier robots.txt (3058)

j'ai tout passé en voir et lire pour tous ormis 4 forums "privés"
et j'en ai toujours des brouettes pleines ???

pourtant quand je regarde le lien que tu testes plus haut
http://www.personnellement.net/forum/lo ... =5&start=0

ben il me demande de me logguer alors qu'il est bien en voir et lire pour tous

En fait il correspond à cela :

http://www.personnellement.net/forum/ma ... e-vf5.html

je comprends pas tout ?

Tu trouve pas normal qu'un lien spécifiant login.php te renvois vers le login ?

En fait, ce lien, c'était celui sur lequel on tombait quand on allait voir ton forum n°5 avant qu'il ne soit tout à fait public, ce qui n'est plus le cas désormais, mais le lien explicite spécifiant le login remplis toujours son rôle.

Peu importe à ce stade que tu sois loggué, pas loggué ou que la cible de redirection soit public ou prive, en suivant un lien avec login.php, tu demande te logguer, tu te loggues

Du coup, pas grand chose à faire, tu pourrais purger la liste des url interdite par robots.txt, mais bon, c'est déjà assez clair le disallow.

Et interdire login.php est de ce point de vu primordiale. Sans cela tu aurais plein de pages genre forum/login.php?redirect=viewforum.php&f=5&start=0 en cache.

++

dcz a écrit:Tu trouve pas normal qu'un lien spécifiant login.php te renvois vers le login ?

Non aucun souci avec ça !


le truc que je trouve plus ennuyeux c'est les pages pleines avec des url comme :

http://www.personnellement.net/forum/post1001.html
http://www.personnellement.net/forum/post1050.html
http://www.personnellement.net/forum/post1112.html

....

Ennuyeux, c'est tout de même une question de point de vu, si Google ne t'en avait jamais parlé, tu n'en aurais probablement rien su ... Il te dis juste que les url des post sont interdites, ce qui est notre but.

Donc, le truc, c'est juste que tu as dû mettre le disallow sur post un peu après la mise en place de la réécriture d'url, et du coup, Google avait déjà commencé à crawlé ces url, que pour le coup nous voulons vraiment interdire.
Il te dis ce que tu sais déjà, les postxx.html sont interdit ... Et il t'en aurait jamais parlé si tu avais mis en place le robots.txt un chouilla plus vite.

C'est en tous cas sans incidences sur ton référencement.

++

ok merci

des url que Google à choppé pendant que tu installais les mods phpBB SEO, avant que tout marche nickel.

Et c'est pas grave, une vrai 404 doit rester une vrai 404.