Empecher les robots d'indexer certains topics.

GoogleBot, MSNBot, Yahoo!Slurp ... Tout sur les robots d'indexations, liste d'ip, User Agents, Crawl et les robots.txt.

Modérateur: Modérateurs

Empecher les robots d'indexer certains topics.

Messagede Auden » Mer Juin 18, 2008 8:42 pm

Bonjour,

Sur mon forum je possède un topic "présentation" qui '(je pense) n'a aucun intérêt pour le referecement.

Que dois-je rajouter à mon fichier robots.txt.

Pour le moment j'ai ça :

Code: Tout sélectionner
User-agent: *
Disallow: /viewtopic.php
Disallow: /viewforum.php
Disallow: /index.php?
Disallow: /posting.php
Disallow: /search.php?
Disallow: /ucp.php
Disallow: /mcp.php
Disallow: /post
Disallow: /member
Disallow: /memberlist.php
Disallow: /faq.php
Disallow: /equipe.html


Le forum en question est www.lyon-forum.fr
Un des topics que je ne souhaite pas indexer est :
-http://www.lyon-forum.fr/presentations/


Merci
www.Lyon-forum.fr => Le forum des lyonnais
Auden
PR1
PR1
 
Messages: 122
Inscription: Mar Jan 09, 2007 10:33 pm

Publicité

Messagede R1_Bzh » Jeu Juin 19, 2008 9:16 am

Tu utilise phpBB3 à première vu, il te suffit donc dans les permissions du forum que tu souhaite ne pas indexer, de bloquer le groupe spécial "robots".

ACP => Permissions => Permissions des forums => Gérer les groupes, tu sélectionne Robots et éditer les permissions

si tu veux le bloquer complètement aux robots, tu clique sur "tout sur non" => appliquer les permissions, épicétou :)
[ Phea ]: Développement PHP/MySQL/Ajax , hébergement de site & services mail et administration de serveur Unix
[ Coda-Cola ]: Solution de gestion de projets (subversion SVN / Redmine)
[ Rechercher ]
R1_Bzh
phpBB SEO Team
phpBB SEO Team
 
Messages: 214
Inscription: Mer Juil 04, 2007 3:29 pm
Localisation: Toulouse

Messagede SeO » Jeu Juin 19, 2008 9:21 am

Il faut tout de même rester prudent avec la gestion des bots de phpBB3, car c'est techniquement du cloaking et donc, c'est potentiellement risqué.

Personnellement, je ferais en sorte que les bots aient exactement les mêmes autorisations que les invités, car même si le risque est faible dans la plupart des cas de figure, c'est un risque assez inutile je trouve.

S'il s'agit d'un sujet, ou d'un forum comme dans ton exemple, que tu voudrais laisser en accès publique mais ne pas indexer, tu peux utiliser ton robots.txt, ce qui pour ton exemple donne :
Code: Tout sélectionner
Disallow: /presentations/

Tout simplement.
SeO
Admin
Admin
 
Messages: 6334
Inscription: Mer Mar 15, 2006 9:41 pm

Messagede Auden » Jeu Juin 19, 2008 10:38 am

Meric je vais donc passer par le robots.txt.

Pour finir, si je ne veux pas indexer un sujet il suffit de rajouter par exemple :

Code: Tout sélectionner
Disallow: /guides-tutoriels-et-reglement/charte-du-forum-a-lire-avant-de-poster-t3.html


Merci
www.Lyon-forum.fr => Le forum des lyonnais
Auden
PR1
PR1
 
Messages: 122
Inscription: Mar Jan 09, 2007 10:33 pm

Messagede SeO » Jeu Juin 19, 2008 12:07 pm

C'est ça.

Une alternative dynamique pourrait être envisagée via les métas, en ajoutant un champs sur la table des topics, mais tant qu'il n'y en a pas trop, le robots.txt est nickel ;)
SeO
Admin
Admin
 
Messages: 6334
Inscription: Mer Mar 15, 2006 9:41 pm

Messagede Auden » Ven Juin 20, 2008 6:12 am

Merci pour votre conseils.

A+
www.Lyon-forum.fr => Le forum des lyonnais
Auden
PR1
PR1
 
Messages: 122
Inscription: Mar Jan 09, 2007 10:33 pm

Messagede R1_Bzh » Ven Juin 20, 2008 9:27 am

SeO a écrit:Il faut tout de même rester prudent avec la gestion des bots de phpBB3, car c'est techniquement du cloaking et donc, c'est potentiellement risqué.

Maintenant que le problème est réglé, je reviens un peu là dessus. c'est juste une question de droit non ? En théorie si c'est un robot, le site n'affiche tout simplement pas les forums concerné, tout comme un groupe qui aurait moins de droit (ou plus). Je ne vois pas en quoi et comment google pourrait s'en apercevoir.
[ Phea ]: Développement PHP/MySQL/Ajax , hébergement de site & services mail et administration de serveur Unix
[ Coda-Cola ]: Solution de gestion de projets (subversion SVN / Redmine)
[ Rechercher ]
R1_Bzh
phpBB SEO Team
phpBB SEO Team
 
Messages: 214
Inscription: Mer Juil 04, 2007 3:29 pm
Localisation: Toulouse

Messagede gowap » Sam Juin 21, 2008 3:19 pm

Il suffit que google visite le site sans s'identifier comme tel.
Sous phpbb3, Google atterrit dans le groupe "Robots" a cause du useragent qui contient "googlebot". Suffit qu'il dise "bonjour, moi c'est IE7, ca va ?" et voila qu'il se retrouve avec des permissions d'invité au lieu des permissions du groupe "Robots" et le contenu affiché n'est donc plus le meme ==> cloaking.
Gravure-News : la communauté francophone de la gravure de CD/DVD et son forum d'entraide.
Avatar de l’utilisateur
gowap
phpBB SEO Team
phpBB SEO Team
 
Messages: 1510
Inscription: Dim Mai 07, 2006 10:56 pm

Messagede SeO » Sam Juin 21, 2008 3:31 pm

R1_Bzh a écrit:
SeO a écrit:Il faut tout de même rester prudent avec la gestion des bots de phpBB3, car c'est techniquement du cloaking et donc, c'est potentiellement risqué.

Maintenant que le problème est réglé, je reviens un peu là dessus. c'est juste une question de droit non ? En théorie si c'est un robot, le site n'affiche tout simplement pas les forums concerné, tout comme un groupe qui aurait moins de droit (ou plus). Je ne vois pas en quoi et comment google pourrait s'en apercevoir.


Le problème est a priori moins important quand il s'agit de restreindre des accès que d'en ajouter (en autorisant par exemple les bots à voir des forum privés).
Mais ça n'empêche que nous n'avons aucune garantie de la part de Google concernent le cloaking (mis à part pour des raisons d'internationalisation).

Le cloaking commence quand on ne montre pas le même contenu aux bots et aux invités, retirer les SID par ce biais passe encore, mais le retrait de certains liens est déjà plus discutable, vu que l'intention est clairement d'optimiser la page pour les bots.

Donc, s'il est clair qu'il ne s'agit ici que de cloaking anecdotique, c'est presque une raison de plus pour éviter, parce que d'une part les cas sont pas si nombreux ou il est vraiment intéressant (sauf gros cloaking bien entendu) de dissocier les invités des bots, et que d'autre part, et du coup, il est assez inutile de risquer une sanction potentiellement énorme (le blacklistage), même si la probabilité reste faible, pour pratiquement ne rien gagner. C'est presque une question de principe, en tous cas jusqu'à premier balcklistage retentissant de celui qui aura abusé de la facilité de cloaker avec phpBB3.

D'un côté purement pratique, utiliser la gestion des bots de phpBB3 pour interdire l'indexation d'un forum est une méthode assez lourde pour faire ce qui peut être fait en une ou deux ligne de codes (robots.txt ou méta).

Et comme le dit gowap, Google a parfaitement les moyen de démasquer ceux qui ne montrent pas le même contenu aux bots et aux visiteur non enregistrés d'un site.
SeO
Admin
Admin
 
Messages: 6334
Inscription: Mer Mar 15, 2006 9:41 pm


Retourner vers Les roBots

 


  • Articles en relation
    Réponses
    Vus
    Dernier message

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 3 invités