Nous sommes le Mer Sep 24, 2014 2:27 am

News News de Les roBots

Plan de Les roBots » Forum : Les roBots

GoogleBot, MSNBot, Yahoo!Slurp ... Tout sur les robots d'indexations, liste d'ip, User Agents, Crawl et les robots.txt.

Mon robot est t'il bon ? :)

Salut ,
J'me suis fabriqué un petit robot :
User-agent: *
Code: Tout sélectionner
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Disallow: /forums/viewtopic.php
Disallow: /forums/viewforum.php
Disallow: /forums/index.php?
Disallow: /forums/posting.php
Disallow: /forums/groupcp.php
Disallow: /forums/profile.php
Disallow: /forums/memberlist.php
Disallow: /forums/search.php
Disallow: /forums/login.php
Disallow: /forums/faq.php
Disallow: /forums/post
Disallow: /forums/membre
Sitemap: http://euroastuces.com/sitemap.xml

Est t'il bon ?

Et pour mon sitemap, dois je ...
Lire la suite : Mon robot est t'il bon ? :) | Vus : 1508 | Réponses : 4


Interdiction d'une URL précise avec robots.txt

Salut à tous,

Je me pose une question à propos du fichier robots.txt et une URL que je voudrais interdire:

Comment bloquer -www.monsite.com/galerie/ sans bloquer -www.monsite.com/galerie/index.html ?

Est-ce possible ?

Mantis
Lire la suite : Interdiction d'une URL précise avec robots.txt | Vus : 2208 | Réponses : 5


Msn et Yahoo

Salut, j'ai installé le mod Simple Show bots pour voir quels sont les bots qui parcourent mon forum et je voudrais savoir comment faire pour que les bots msn et yahoo viennent plus souvent car ils jouent à cache-cache. :lol:

Pour google, il squatte mon forum en permanence. :lol:

Merci d'avance. :wink: ...
Lire la suite : Msn et Yahoo | Vus : 3929 | Réponses : 15


Les dossiers admin et templates dans le robots.txt

VOilà, ici je lis tous les posts et je me pose la question suivante:

Faut-il bloquer les dossiers type Templates et Admin dans le robots.txt?

En effet, j'ai regardé tous les robots.txt et je vois nul part de disallow: /admin/


Mon robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /common.php
Disallow: /config.php
Disallow: /faq.php
Disallow: /gf_portail/
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: ...
Lire la suite : Les dossiers admin et templates dans le robots.txt | Vus : 1523 | Réponses : 1


faire un robots.txt

Bonjour ,

Pouvez vous m'expliquez comment ont fait le robot google sachant que je veux qu'il voit tout sauf les donnée des profils ?
Lire la suite : faire un robots.txt | Vus : 2300 | Réponses : 5


 

Connexion  •  M’enregistrer


Statistiques

49286 message(s) • 6919 sujet(s) • 17495 membre(s)

 
cron