robots.txt

GoogleBot, MSNBot, Yahoo!Slurp ... Tout sur les robots d'indexations, liste d'ip, User Agents, Crawl et les robots.txt.

Modérateur: Modérateurs

robots.txt

Messagede morphoSEO » Mer Jan 17, 2007 11:41 am

slt

j'ai mis un robots.txt comme vous

Code: Tout sélectionner
User-agent: *
Disallow: /forums/viewtopic.php?
Disallow: /forums/viewforum.php?
Disallow: /forums/index.php?
Disallow: /forums/posting.php?
Disallow: /forums/groupcp.php
Disallow: /forums/profile.php?
Disallow: /forums/memberlist.php
Disallow: /forums/search.php?
Disallow: /forums/login.php
Disallow: /forums/faq.php


si je comprend bien les bots ne referenceront pas ces pages ? meme l'index ?
اذا أحس أحد انه لم يخطأ ابدا في حياته, فهذا يعني أنه لم يجرب أي جديد في حياته
Avatar de l’utilisateur
morphoSEO
PR1
PR1
 
Messages: 196
Inscription: Jeu Nov 02, 2006 7:58 am
Localisation: Casablanca, Maroc

Publicité

Messagede Elglobo » Mer Jan 17, 2007 12:01 pm

morphoSEO,

C'est tout à fait cela, mais attention le ? aprés index a son importance :wink:

Cela signifie que ce sont les urls du type /index.php?..... qui ne seront pas référencé mais ta page /index.php elle, sera bien référencée :wink:

Par contre, je te conseille de retirer le ? pour toutes les autres pages car dans ce cas là on ne veut vraiment pas référencer ce type d'URL :wink:
phpBB-Services.com: L'hébergement et l'assistance de votre forum phpBB en toute tranquillité.

Offre exceptionnelle à l'occasion de notre 5ème anniversaire ! 6 mois offerts sur toutes nos offres mutualisées, pour toute nouvelle commande avant le 31/08/2012.
phpBB-Services ajoute à cet avantage un nom de domaine gratuit pour toute commande de 12 mois.
Offre non cumulable et limitée aux 200 premières souscriptions, Code promotionnel à utiliser: SUMMER2012
Elglobo
phpBB SEO Team
phpBB SEO Team
 
Messages: 247
Inscription: Mer Mai 03, 2006 9:30 am

Messagede dcz » Mer Jan 17, 2007 12:05 pm

conseil :

Ajoutes :

Code: Tout sélectionner
Disallow: /forums/post


Et voir :

Code: Tout sélectionner
Disallow: /forums/membre


Comme conseillé sur le sujet de release du mod rewrite que tu utilises ;)

++
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21391
Inscription: Ven Avr 28, 2006 9:03 pm

Messagede morphoSEO » Mer Jan 17, 2007 1:06 pm

merci elglobo, merci dcz

sinon c'est quoi l'utilité de Disallow: /forums/post et l'autre ?

bah en gros ça donnera ça

Code: Tout sélectionner
User-agent: *
Disallow: /forums/viewtopic.php
Disallow: /forums/viewforum.php
Disallow: /forums/index.php?
Disallow: /forums/posting.php
Disallow: /forums/groupcp.php
Disallow: /forums/profile.php
Disallow: /forums/memberlist.php
Disallow: /forums/search.php
Disallow: /forums/login.php
Disallow: /forums/faq.php
Disallow: /forums/membre
Disallow: /forums/post


:P
اذا أحس أحد انه لم يخطأ ابدا في حياته, فهذا يعني أنه لم يجرب أي جديد في حياته
Avatar de l’utilisateur
morphoSEO
PR1
PR1
 
Messages: 196
Inscription: Jeu Nov 02, 2006 7:58 am
Localisation: Casablanca, Maroc

Messagede dcz » Mer Jan 17, 2007 1:38 pm

Post, c'est les messages (15 duplicates par pages de sujet en générale) et membre, c'est le profils de membres, pas toujours utile à référencer, voir pas du tout, et même, pas bon au début de l'existence d'un site, car les profils sont beaucoup liés et risquent donc d'être mis en cache avant les pages des sujets.
Ce qui ne manquerait pas de ralentir l'ensemble du processus d'indexation, car ces pages sont assez pauvres pour un moteur de recherche.

++
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21391
Inscription: Ven Avr 28, 2006 9:03 pm

Messagede morphoSEO » Mer Jan 17, 2007 3:59 pm

Elglobo a écrit:
Par contre, je te conseille de retirer le ? pour toutes les autres pages car dans ce cas là on ne veut vraiment pas référencer ce type d'URL :wink:


ok mais il faut laisser ? devant viewtopic.php et viewforum non ? car beaucoup de sites que je connait le laisse

@dcz : ok mais c'est bien de referencer les messages des users non ? ça va ramener beaucoup de mondes . Pour les profils tout à fait d'accord avec toi :wink:
اذا أحس أحد انه لم يخطأ ابدا في حياته, فهذا يعني أنه لم يجرب أي جديد في حياته
Avatar de l’utilisateur
morphoSEO
PR1
PR1
 
Messages: 196
Inscription: Jeu Nov 02, 2006 7:58 am
Localisation: Casablanca, Maroc

Messagede dcz » Mer Jan 17, 2007 4:12 pm

En fait, les url des sujet suffisent à indexer tous les messages, les url de post sont simplement des duplicates inutiles.

++
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21391
Inscription: Ven Avr 28, 2006 9:03 pm


Retourner vers Les roBots

 


  • Articles en relation
    Réponses
    Vus
    Dernier message

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité