Yahoo visite obstinément posting.php

[falkra]

Bonjour,

je tourne sous phpbb, et le bot de yahoo continue de parcourir la page posting.php, malgré ceci dans robots.txt (extrait)

[dcz]

Yahoo! est très lent à la détente avec les robots.txt. Et on peu pas y faire grande chose.

Il suit bien les directives qu'il trouve en tout premier lieux lors de la découverte d'un site, mais il met plus de temps que Google, a qui ça prends du temps aussi, pour prendre en compte de nouvelles interdictions, qui concernent des pages déjà indexées.

De manière générale Yahoo est moins fin que Google sur le crawl, c'est de loin le bot qui utilise le plus d'ip en même temps pour crawler, qui charge le plus de page dans un laps de temps rapproché, bref, le plus bourrin, mais on l'aime bien quand même

++

[falkra]

D'accord, mais il est vraiment lent à la détente l'animal, et c'est vrai que pour les IP, il n'y va pas par quatre chemins.

Est-ce que Disallow: "/dossierduforum/posting.php" suffit ou il faut "posting.php?" (parce que le temps qu'il comprenne, si je ne mets pas le bon...).

[rogerlebouledogue]

Normalement un simple :

[falkra]

Merci.

Je vais l'entrer comme ça.