Récemment le bot bit.ly s'est lâché sur notre forum, faisant monter les stats de fréquentation d'utilisateurs à 80 ou 90, ce qui en temps normal ne nous arrive pas. J'ai remis les stats à 0, seuls les humains m'intéressent .

Existe-t-il un moyen de ne compter qu'une fois la myriade de bots qui passent parfois référencer un forum pour le compte d'un seul moteur de recherche ?

bit.ly est un service d'url courtes, je pense donc que tu as vu une montée de visite le mentionnant dans les logs parce que des liens sont fait vers ton site avec ce service. Il doit juste glisser sont UA ou le reférent dans les redirection pour rendre le comptage des des visites qu'il apporte plus simple.

C'est peut être autre chose, mais il faut plus de détails, tu as bien vu ça dans les logs serveur ?

bit.ly apparaissait plusieurs fois (15-20 de mémoire) dans la liste des utilisateurs actifs sur le forum. Les utilisateurs invités venant sur notre forum en suivant un lien par une URL raccourcie devraient apparaître en "invité", et non pas en bit.ly - enfin je pense.

J'ai ensuite fouillé dans les logs, et me suis aperçu que ce jour-là a été anormalement fort en traffic. Je me demande même si bit.ly n'a pas crawlé toutes les pages de notre site le même jour.

C'est pas impossible, dans ce cas, tu peux coller l'UA utilisé dans tes logs dans la liste des bots phpBB3, comme ça, plus qu'une seule session pour tous.

++

Merci pour l'astuce. C'est quoi l'UA ?

T'as pas les logs du jour en question ?

Faut chercher sinon, mais j'ai pas trouvé (5 minute sur google).

User-agent apparemment. J'ai le log en stock mais je le garde en privé. Ce jour-là la pointe sur les stats était vraiment flagrant - 19% du volume en ko du mois en un jour... L'UA du bot est bitlybot mais il apparaît sous plusieurs IPs.

Ca avait fait pareil le jour où le bot "80legs" était passé (ua : 80bot/0.71).

NanaM a écrit:L'UA du bot est bitlybot mais il apparaît sous plusieurs IPs.

C'est pas grave ça, colle bitlybot dans ton groupe de bots et hop

Salut,

c'est généralement twitter qui transforme les liens postés en bit.ly/XYZXYZXYZXYZXYZ .

Trefle.

Salut,

Je crois que c'est différent là, il s'agissait bien d'un bot et pas de N visiteurs qui auraient visité un lien bit.ly ou depuis twitter.

NanaM a écrit:Salut,

Je crois que c'est différent là, il s'agissait bien d'un bot et pas de N visiteurs qui auraient visité un lien bit.ly ou depuis twitter.

Le robot vient peut être lors de la création de lien ...

Non je ne crois pas, je suis le nombre de fois qu'un lien que je poste sous twitter/bit.ly est suivi, au plus c'est 4-5 fois en tout, 10 à tout casser - petite communauté, peu de followers pour l'instant. Là il s'agissait de 80 visiteurs apparaissant sous username "bit.ly", en même temps. Un utilisateur qui aurait suivi le lien bit.ly n'apparaîtrait pas de la même façon dans le panneau "qui est en ligne".

Tiens, je viens de remarquer juste après avoir twitté un lien vers mon site, une avalanche de bots dans la minute qui suit est passée voir ce sujet (des bots que je ne vois pas souvent autrement sur le forum, à part Google bot) :

OneRiot/1.0

R6_FeedFetcher

radian6_linkcheck_

Google bot

Chainn mxbot

PycURL/7.18.2

Python-urllib/2.5

Ellerdale crawler

PostRank/2.0

JS-Kit URL Resolver

Voyager/1.0

Twitterbot/0.1

NjuiceBot

bitlybot

Tous ces bots crawlaient le même sujet, celui pointé sur Twitter via bit.ly. MSNbot était le seul bot à crawler le forum comme si de rien n'était, sur une autre sujet

Mais c'était différent de ce que je décrivais au début de ce sujet, car là il s'agit de bots différents.

comme quoi les reseau sociaux sont une piste à explorer...

merci pour l'info