comment configurer le robots.txt

GoogleBot, MSNBot, Yahoo!Slurp ... Tout sur les robots d'indexations, liste d'ip, User Agents, Crawl et les robots.txt.

Modérateur: Modérateurs

comment configurer le robots.txt

Messagede xpmen » Sam Sep 01, 2007 9:19 am

bonjour,
j'ai parcouru le fofo, mais pas trouver de réponse(ou j'ai pas chercher assez :oops: )

voila, en suivant le guide de google, je voudrai installer le fichier robots.txt.

seulement, je comprend pas très bien comment le configurer, a chaque recherche, je tombe sur des explication en anglais :roll:
et comme moi et l'anglais, sa fait deux :oops: .

merci de votre aide

ps: mise a part cette question, est il vraiment utile et apporte il vraiment un plus ?
xpmen
 
Messages: 3
Inscription: Mar Mai 22, 2007 3:58 pm

Publicité

Messagede dav38 » Sam Sep 01, 2007 10:09 am

salut, mais si tu a des postes consacrer à ça dans la partie référencement :lol: du forum. :wink:
dav38
PR1
PR1
 
Messages: 102
Inscription: Lun Avr 23, 2007 12:06 pm
Localisation: isere

Messagede xpmen » Sam Sep 01, 2007 10:47 am

alors , je vais a nouveau re parcourir le forum :?

car j'ai pas trouver quoi mettre dans le fichier robots.txt
(en démarrant de rien)

merci quand même :wink:
xpmen
 
Messages: 3
Inscription: Mar Mai 22, 2007 3:58 pm

Messagede dcz » Dim Sep 02, 2007 2:52 pm

En fait, ça dépend de ton site. Le robots.txt est un simple fichier texte dans lequel il est possible d'interdire l'indexation de certaine URLs, ou types d'URL (par dossier, par script etc ...). On l'utilise donc pour éviter les duplicates, quand plusieurs URLs peuvent mener à la même page, comme une URL de sujet et de message sur phpBB.

Donc, la première chose, c'est de déterminer si ton site as des duplicates, et si oui lesquels (quel type plus précisément).

Tu as des exemple de robots.txt sur les sujet de mise à disposition des mod rewrite phpBB SEO, ils sont valable pour ces mod, mais la syntaxe étant très simple, ça peu aider.

++
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21291
Inscription: Ven Avr 28, 2006 9:03 pm

Messagede xpmen » Dim Sep 02, 2007 3:45 pm

merci dcz :wink:
xpmen
 
Messages: 3
Inscription: Mar Mai 22, 2007 3:58 pm

Messagede gortex » Dim Aoû 03, 2008 10:18 am

J'ai le meme soucis je cherche a savoir comment configuré mon fichier robots le seul hic est que sur mon forum pour le moment je ne peux pas faire de reecriture des urls vu que je suis chez free donc je ne suis pas sur que les robots present dans ces mods puisse me convenir.

Merci d'avance pour votre aide
gortex
 
Messages: 24
Inscription: Dim Juin 01, 2008 6:27 am

Messagede dcz » Lun Aoû 04, 2008 8:48 am

En effet, il ne faut pas utiliser le robots.txt déstiné à la réécriture d'url sans réécriture d'url.

Et du coup, pas grand chose à interdire ...
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21291
Inscription: Ven Avr 28, 2006 9:03 pm

Messagede gortex » Lun Aoû 04, 2008 10:38 am

Donc si je comprend bien dans mon fichier robot je ne met rien du tout?
gortex
 
Messages: 24
Inscription: Dim Juin 01, 2008 6:27 am

Messagede dcz » Mer Aoû 06, 2008 8:47 am

Malheureusement oui, car il n'est pas possible d'interdire les urls de messages non réécrites vu qu'elles contiennent en général l'id du forum, voir du sujet aussi.

Tu pourrais par contre jouer avec le mod méta dynamiques pour interdire les urls de posts, en remplaçant :

Code: Tout sélectionner
      'disallowed' => array('style' => 1, 'hilit' => 1, 'print' => 1, 'sid' => 1),


par :

Code: Tout sélectionner
      'disallowed' => array('style' => 1, 'hilit' => 1, 'print' => 1, 'sid' => 1, 'p' => 1),


Dans includes/functions.php.

++
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21291
Inscription: Ven Avr 28, 2006 9:03 pm

Messagede gortex » Mer Aoû 06, 2008 8:51 am

Merci pour ce code je le ferai ce soir. Par contre pour aidé le referencement est ce que le fichier googlemap1.xml est utile? Faut il mettre quelques chose dedans de particulier ?
gortex
 
Messages: 24
Inscription: Dim Juin 01, 2008 6:27 am

Messagede dcz » Mer Aoû 06, 2008 9:36 am

Oui, les sitemaps google sont utiles => GYM sitemaps ;)
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21291
Inscription: Ven Avr 28, 2006 9:03 pm


Retourner vers Les roBots

 


  • Articles en relation
    Réponses
    Vus
    Dernier message

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 2 invités