MSN continue de vouloir indexer n'importe quoi

[gowap]

Depuis 2-3 semaines, lors de ses passages sur le site, MSN se met à demander une flopée de pages qui n'existent pas, et pour cause quand on voit la tronche de l'url :

Provenance : Pas de lien intermédiaire, connexion directe
Page : -http://www.domaine.com/download/a/C157F3C45E9B0C53D68611437A3B5B3C_00000.temp0008.htm
Navigateur : msnbot/2.0b (+http://search.msn.com/msnbot.htm)
Adresse IP : 65.55.106.234
Nom de domaine : msnbot-65-55-106-234.search.msn.com

C'est bien MSN et pas un autre bot qui se ferait passer pour lui.
Et c'est pas juste une demande par jour, ce qui exclu tout test d'url 404.
Ca s'arrange pas l'indexation chez Microsoft...

Quelqu'un d'autre rencontre ce genre de phénomène ?

[trefle]

salut,

moi il y a msn bot qui le fait ( des urls .dll .asp /office mais sans trop d'excès si l'on compare avec voila bot qui lui demande plein d'url ( 100/jour ) qui n'ont jamais existé et n'existeront jamais ).

[dcz]

Intéressant, ils ont de la ressource chez microsoft...

Soit il teste les 404 comme des bourrins, soit il testent des pseudo vulnérabilités (ce qui expliquerait le crawl de dll de trefle) soit il se sont fait hacké

Bizarre en tous cas ...

[gowap]

Je suppose que trèfle fait référence à des scans de vulnérabilités IIS, les conneries des extensions Frontpage et compagnie ( _vti_bin et ses copains) qui ne sont pas le fait du vrai msnbot.

Dans mon cas, c'est autre chose.
Comme je suis notifié de toutes les erreurs 404 et que j'en avais marre, après avoir posté mon message j'ai fait un forbidden sur la partie statique de cette URL aléatoire qui était demandée, du coup je sais pas si ca a continué ou pas (j'ai bien vu une occurence légèrement différente la semaine derniere je crois bien).

Je dois dire qu'en ce moment je suis bien remonté contre les scans de vulnérabilités en tout genre (c'est aussi pour ca que je recupère chaque 404) mais surtout contre les navigateurs/user-agent infoutus de faire des requetes correctes.
Je me suis tapé une telle quantité de 404 parce que des progs a la con ne gèrent pas correctement le base href que j'ai fait machine arrière sur certains codages.
Quand je vois que la 404 est provoquée par un vieux prog, passe encore, mais j'ai très régulièrement des requetes vers des fichiers images qui sont cherchés a la racine alors qu'ils ne s'y trouvent évidemment pas, requetes générées par des navigateurs récents. Le user agent ne m'a pas permis de déterminer une tendance particulière même si je vois souvent des google toolbar dedans.
Doit y avoir pas mal d'extensions mal codées qui trainent et qui font des requetes farfelues.