MSN et robots.txt

jcg11290 · Posté le: Dim Sep 17, 2006 8:26 am Sujet du message: MSN et robots.txt

Bonjour,

MSN tient-il compte du fichier "robots.txt" car les seules pages que je retrouve concernent que qqs membres, la faq et le search... Question

Il y a quand même une ligne pour forum-map, l'index et portal..

J.Cl. Wink

dcz · Posté le: Dim Sep 17, 2006 10:55 am Sujet du message: Re: MSN et robots.txt

Comme toujours, les robots.txt n'est pas pris en compte instantanément. Cela peut être même très long, mais au finale ça marche, au moins pour les moteurs de recherches digne de ce nom.

Du coup, pour peux que ton robots.txt n'ait pas toujours été en ligne, tu trouve des url interdites.

Mais c'est pas bien grave va.

++

jcg11290 · Posté le: Dim Sep 17, 2006 12:06 pm Sujet du message: Re: MSN et robots.txt

Ok, merci..

Wink

gowap · phpBB SEO Team Inscrit le: 07 Mai 2006 Messages: 990

En ce qui me concerne je me greffe sur ce sujet, histoire de nuancer largement la bonne prise en compte de robots.txt par msn.
Rewrite mis en place le 29/09 avec le robots.tt parfait qui va avec. Dans celui ci je desactive l'indexation de ce qui commence par membre (profils des utilisateurs).
Resultats, je regarde aujourd'hui les pages en cache sur msn et je tombe sur ca :
http://search.msn.com/results.aspx?q=site:forum.gravure-news.com&first=41&FORM=PORE

gowap · phpBB SEO Team Inscrit le: 07 Mai 2006 Messages: 990

rebelotte : MSN pris en flagrant délit de ne pas suivre robots.txt
Il m'affiche statistic.php en date du 30/12 alors qu'il y a un disallow dans robots.txt (depuis belle lurette !)
Idem pour search.php
Ne parlons pas de faq.php qu'il n'a toujours pas viré depuis des mois

doudou · Posté le: Lun Jan 01, 2007 9:54 pm Sujet du message: Re: MSN et robots.txt

fred_du_41 · PR1 Inscrit le: 18 Juin 2006 Messages: 161