MSN et robots.txt

de **jcg11290** » Dim Sep 17, 2006 8:26 am

Bonjour,

MSN tient-il compte du fichier "robots.txt" car les seules pages que je retrouve concernent que qqs membres, la faq et le search... :?:

Il y a quand même une ligne pour forum-map, l'index et portal..

J.Cl. :wink:

Comme toujours, les robots.txt n'est pas pris en compte instantanément. Cela peut être même très long, mais au finale ça marche, au moins pour les moteurs de recherches digne de ce nom.

Du coup, pour peux que ton robots.txt n'ait pas toujours été en ligne, tu trouve des url interdites.

Mais c'est pas bien grave va.

++

de **jcg11290** » Dim Sep 17, 2006 12:06 pm

Ok, merci..

:wink:

de **gowap** » Ven Oct 06, 2006 6:51 pm

En ce qui me concerne je me greffe sur ce sujet, histoire de nuancer largement la bonne prise en compte de robots.txt par msn.
Rewrite mis en place le 29/09 avec le robots.tt parfait qui va avec. Dans celui ci je desactive l'indexation de ce qui commence par membre (profils des utilisateurs).
Resultats, je regarde aujourd'hui les pages en cache sur msn et je tombe sur ca :
http://search.msn.com/results.aspx?q=si ... &FORM=PORE

* forum.gravure-news.com/membre6.htm
* 10/3/2006
* forum.gravure-news.com/membre6447.htm
* 10/4/2006

Si en 5 jours il a pas pris en compte le robots.txt, je sais pas ce qu'il lui faut...
Google, lui le telecharge une fois par jour (cf leurs dire)

de **gowap** » Lun Jan 01, 2007 9:41 pm

rebelotte : MSN pris en flagrant délit de ne pas suivre robots.txt
Il m'affiche statistic.php en date du 30/12 alors qu'il y a un disallow dans robots.txt (depuis belle lurette !)
Idem pour search.php
Ne parlons pas de faq.php qu'il n'a toujours pas viré depuis des mois

de **doudou** » Lun Jan 01, 2007 9:54 pm

gowap a écrit:rebelotte : MSN pris en flagrant délit de ne pas suivre robots.txt
Il m'affiche statistic.php en date du 30/12 alors qu'il y a un disallow dans robots.txt (depuis belle lurette !)
Idem pour search.php
Ne parlons pas de faq.php qu'il n'a toujours pas viré depuis des mois

Cela explique peut être la suprématie de google sur sur ses concurrents. Car quand je vois google crawler mon modeste site par 550 pages/jour et yahoo ou MSN ne font que 10 pages/jour

de **fred_du_41** » Lun Jan 01, 2007 10:05 pm

doudou a écrit:MSN ne font que 10 pages/jour

Tu as bien de la chance, MSN ne "crawle" qu'une ou deux pages chez moi et encore pas tous les jours

Et en plus il ne respecte pas le robot.txt :twisted:

MSN et robots.txt

MSN et robots.txt

Publicité

Qui est en ligne

Publicité