Gigabot (problème) ?

[fred_du_41]

Bonjour à tous

Depuis quelques temps le bot de Gigablast ne passe plus beaucoup chez moi et lorsqu'il daigne passer, il ne récupère que des URL's bizarroides

Exemple :




Je n'ai pas ce problème avec les autres bots, c'est le seul

[dcz]

c'est marrant, déjà il y a un ans, je l'avais vu faire exactement la même chose, Gigablast prote bien son nom, un bot bourrin.

Car là, il semble pas t'avoir fait le coup du full crawl en 1 minute à raison de 50 pages par secondes.

Enfin, la solution est simple, il suffit de ne pas montrer ces liens aux invités (deuxième message du mod rewrite que tu utilises)

++

[fred_du_41]

Bonjour Dcz

[dcz]

C'est qu'il a dû visiter tes pages avant la modif, ça expliquerait pourquoi il n'en test pas beaucoup finalement (trois dans ton exemple).

J'ai découvert ce bots sur ces lien il y a un bon moment, c'est simple, il avait crawlé le site qu'avec ces liens et en un temps records (genre 200 pages en trois minutes), et je l'avais banni direct (dé-banni depuis).

Depuis, ils semble que ses propriétaires ont rendu leur bots un peut moins agressif, mais il aime toujours autant les nav links on dirait.

Rien de très grave en tous cas, ces urls sont redirigées par le zéro dupe

++

[fred_du_41]

Merci de ta réponse Dcz, elle me rassure tout à fait

De plus je ne pense pas que Gigablast m'apporte beaucoup de visiteurs, l'important est que sur Google je n'ai plus de duplicates (me semble t-il ?) et que mon site est complétement ou presque référencé (environ 4000 URL's)