Url restreintes par Robots

Forum spécifiques au moteur de recherche Google, Référencement, PageRank, AdSense, AdWords, services, utilisation ...

Modérateur: Modérateurs

Url restreintes par Robots

Messagede Personne » Mar Fév 06, 2007 7:31 am

Bonjour,

Ca fait un moment que j'étais pas allé voir les outils google et je suis un peu étonné de voir que j'ai pas mal de
"URL restreinte par un fichier robots.txt " sur des url que je ne pensais pas restreintes comme :

http://www.personnellement.net/forum/forum-map3.html
http://www.personnellement.net/forum/forum-map4.html
...

http://www.personnellement.net/forum/ma ... e-vf5.html :shock:

Et bien sur l'ensemble des posts

mon robots :

Code: Tout sélectionner
User-agent: *
Disallow: /forum/viewtopic.php
Disallow: /forum/viewforum.php
Disallow: /forum/index.php?
Disallow: /forum/posting.php
Disallow: /forum/groupcp.php
Disallow: /forum/search.php
Disallow: /forum/login.php
Disallow: /forum/privmsg.php
Disallow: /forum/post
Disallow: /forum/membre
Disallow: /forum/profile.php
Disallow: /forum/memberlist.php
Disallow: /forum/faq.php


Il y a 2 forums que je n'ai ouvert qu'aux membres ayant plus de x posts :
http://www.personnellement.net/forum/open-bar-vf4.html
http://www.personnellement.net/forum/hu ... e-vf3.html
Et celle la je les retrouve bien dans le rapport


En plus il me dit que 18 url sont introuvables dans ce genre :
http://www.personnellement.net/forum/PHPBB_URL
http://www.personnellement.net/forum/fo ... l&start=10
http://www.personnellement.net/forum/fo ... l&start=20
http://www.personnellement.net/forum/an ... fmp10.html
http://www.personnellement.net/forum/le ... -fmp2.html


Est ce normal :roll:
Personnellement...
Le Forum photo ll Le Blog
Avatar de l’utilisateur
Personne
PR4
PR4
 
Messages: 485
Inscription: Lun Oct 30, 2006 2:13 pm

Publicité

Messagede dcz » Mar Fév 06, 2007 10:53 am

Tout à fait normal ;)

Les forum privés semblent interdit par robots.txt parce qu'il u a redirection HTTP 302 sur /login.php?redirect=viewforum.php&f=5&start=0 et login.php est bien interdit par le robots.txt.

Au passage une illustration du comportement des bots sur des http 302, vous comprendrez pourquoi on en veut pas avec le zéro dupe ;)

Car le risque est bien de voir l'url source prendre la place de l'url redirigée.

Et pareil pour les liens du plan html mx sitemaps, les forums privés sont privés ;)

Pour les 404, pareil, ce sont de vrai 404, des url que Google à choppé pendant que tu installais les mods phpBB SEO, avant que tout marche nickel.

Et c'est pas grave, une vrai 404 doit rester une vrai 404.

++
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21428
Inscription: Ven Avr 28, 2006 9:03 pm

Messagede Personne » Mar Fév 06, 2007 11:42 am

Je suis d'accord dcz mais les forums qui ne sont pas privés ne devraient pas être interdits...

comme celui ci...

http://www.personnellement.net/forum/ma ... e-vf5.html

tout comme les sitemaps liés et ce forum

non ?
Personnellement...
Le Forum photo ll Le Blog
Avatar de l’utilisateur
Personne
PR4
PR4
 
Messages: 485
Inscription: Lun Oct 30, 2006 2:13 pm

Messagede dcz » Mar Fév 06, 2007 11:57 am

Va falloir que tu révises tes autorisations : -http://www.personnellement.net/forum/login.php?redirect=viewforum.php&f=5&start=0

C'est pas un forum public ;)

++
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21428
Inscription: Ven Avr 28, 2006 9:03 pm

Messagede Personne » Mar Fév 06, 2007 12:04 pm

Je l'ai passé en public il y'a 1 ou 2 semaines...

Mais j'avais pas vérifié en me deconnectant...
Mais il reste inaccessible :evil: y'a un cache à vider qq part ?
Personnellement...
Le Forum photo ll Le Blog
Avatar de l’utilisateur
Personne
PR4
PR4
 
Messages: 485
Inscription: Lun Oct 30, 2006 2:13 pm

Messagede dcz » Mar Fév 06, 2007 12:08 pm

non, juste des autorisations à régler, lire et voir pour tous ;)
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21428
Inscription: Ven Avr 28, 2006 9:03 pm

Messagede Personne » Mar Fév 06, 2007 12:18 pm

put... y'a des fois je te jure...

Si je pouvais je me mettrai de coups de lattes :evil:

Merci ;)
Personnellement...
Le Forum photo ll Le Blog
Avatar de l’utilisateur
Personne
PR4
PR4
 
Messages: 485
Inscription: Lun Oct 30, 2006 2:13 pm

Messagede Personne » Ven Avr 13, 2007 7:25 am

Bon je reviens dessus car j'en ai encore

URL restreintes par un fichier robots.txt (3058)

j'ai tout passé en voir et lire pour tous ormis 4 forums "privés"
et j'en ai toujours des brouettes pleines ??? :?

pourtant quand je regarde le lien que tu testes plus haut
http://www.personnellement.net/forum/lo ... =5&start=0

ben il me demande de me logguer alors qu'il est bien en voir et lire pour tous

En fait il correspond à cela :

http://www.personnellement.net/forum/ma ... e-vf5.html

je comprends pas tout ?
Personnellement...
Le Forum photo ll Le Blog
Avatar de l’utilisateur
Personne
PR4
PR4
 
Messages: 485
Inscription: Lun Oct 30, 2006 2:13 pm

Messagede dcz » Ven Avr 13, 2007 8:28 am

Tu trouve pas normal qu'un lien spécifiant login.php te renvois vers le login ?

En fait, ce lien, c'était celui sur lequel on tombait quand on allait voir ton forum n°5 avant qu'il ne soit tout à fait public, ce qui n'est plus le cas désormais, mais le lien explicite spécifiant le login remplis toujours son rôle.

Peu importe à ce stade que tu sois loggué, pas loggué ou que la cible de redirection soit public ou prive, en suivant un lien avec login.php, tu demande te logguer, tu te loggues ;)

Du coup, pas grand chose à faire, tu pourrais purger la liste des url interdite par robots.txt, mais bon, c'est déjà assez clair le disallow.

Et interdire login.php est de ce point de vu primordiale. Sans cela tu aurais plein de pages genre forum/login.php?redirect=viewforum.php&f=5&start=0 en cache.

++
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21428
Inscription: Ven Avr 28, 2006 9:03 pm

Messagede Personne » Ven Avr 13, 2007 8:34 am

dcz a écrit:Tu trouve pas normal qu'un lien spécifiant login.php te renvois vers le login ?


Non aucun souci avec ça !


le truc que je trouve plus ennuyeux c'est les pages pleines avec des url comme :

http://www.personnellement.net/forum/post1001.html
http://www.personnellement.net/forum/post1050.html
http://www.personnellement.net/forum/post1112.html

....
Personnellement...
Le Forum photo ll Le Blog
Avatar de l’utilisateur
Personne
PR4
PR4
 
Messages: 485
Inscription: Lun Oct 30, 2006 2:13 pm

Messagede dcz » Ven Avr 13, 2007 8:55 am

Ennuyeux, c'est tout de même une question de point de vu, si Google ne t'en avait jamais parlé, tu n'en aurais probablement rien su ... Il te dis juste que les url des post sont interdites, ce qui est notre but.

Donc, le truc, c'est juste que tu as dû mettre le disallow sur post un peu après la mise en place de la réécriture d'url, et du coup, Google avait déjà commencé à crawlé ces url, que pour le coup nous voulons vraiment interdire.
Il te dis ce que tu sais déjà, les postxx.html sont interdit ... Et il t'en aurait jamais parlé si tu avais mis en place le robots.txt un chouilla plus vite.

C'est en tous cas sans incidences sur ton référencement.

++
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21428
Inscription: Ven Avr 28, 2006 9:03 pm

Messagede Personne » Ven Avr 13, 2007 11:37 am

ok merci
Personnellement...
Le Forum photo ll Le Blog
Avatar de l’utilisateur
Personne
PR4
PR4
 
Messages: 485
Inscription: Lun Oct 30, 2006 2:13 pm

Messagede nolanguage » Mer Aoû 20, 2008 8:12 am

des url que Google à choppé pendant que tu installais les mods phpBB SEO, avant que tout marche nickel.

Et c'est pas grave, une vrai 404 doit rester une vrai 404.
nolanguage
 
Messages: 6
Inscription: Jeu Juil 24, 2008 2:16 am


Retourner vers Forum Google

 


  • Articles en relation
    Réponses
    Vus
    Dernier message

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 3 invités