Multibot style bitly

Discussion sur les autres moteurs de recherche ...

Modérateur: Modérateurs

Multibot style bitly

Messagede NanaM » Sam Nov 28, 2009 11:12 am

Récemment le bot bit.ly s'est lâché sur notre forum, faisant monter les stats de fréquentation d'utilisateurs à 80 ou 90, ce qui en temps normal ne nous arrive pas. J'ai remis les stats à 0, seuls les humains m'intéressent ;-).

Existe-t-il un moyen de ne compter qu'une fois la myriade de bots qui passent parfois référencer un forum pour le compte d'un seul moteur de recherche ?
NanaM
PR0
PR0
 
Messages: 74
Inscription: Mer Nov 25, 2009 10:04 am

Publicité

Re: Multibot style bitly

Messagede dcz » Lun Déc 14, 2009 2:23 pm

bit.ly est un service d'url courtes, je pense donc que tu as vu une montée de visite le mentionnant dans les logs parce que des liens sont fait vers ton site avec ce service. Il doit juste glisser sont UA ou le reférent dans les redirection pour rendre le comptage des des visites qu'il apporte plus simple.

C'est peut être autre chose, mais il faut plus de détails, tu as bien vu ça dans les logs serveur ?
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21429
Inscription: Ven Avr 28, 2006 9:03 pm

Re: Multibot style bitly

Messagede NanaM » Lun Déc 14, 2009 3:32 pm

bit.ly apparaissait plusieurs fois (15-20 de mémoire) dans la liste des utilisateurs actifs sur le forum. Les utilisateurs invités venant sur notre forum en suivant un lien par une URL raccourcie devraient apparaître en "invité", et non pas en bit.ly - enfin je pense.

J'ai ensuite fouillé dans les logs, et me suis aperçu que ce jour-là a été anormalement fort en traffic. Je me demande même si bit.ly n'a pas crawlé toutes les pages de notre site le même jour.
NanaM
PR0
PR0
 
Messages: 74
Inscription: Mer Nov 25, 2009 10:04 am

Re: Multibot style bitly

Messagede dcz » Lun Déc 14, 2009 6:28 pm

C'est pas impossible, dans ce cas, tu peux coller l'UA utilisé dans tes logs dans la liste des bots phpBB3, comme ça, plus qu'une seule session pour tous.

++
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21429
Inscription: Ven Avr 28, 2006 9:03 pm

Re: Multibot style bitly

Messagede NanaM » Lun Déc 14, 2009 6:44 pm

Merci pour l'astuce. C'est quoi l'UA ?
NanaM
PR0
PR0
 
Messages: 74
Inscription: Mer Nov 25, 2009 10:04 am

Re: Multibot style bitly

Messagede dcz » Lun Déc 14, 2009 7:38 pm

T'as pas les logs du jour en question ?

Faut chercher sinon, mais j'ai pas trouvé (5 minute sur google).
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21429
Inscription: Ven Avr 28, 2006 9:03 pm

Re: Multibot style bitly

Messagede NanaM » Lun Déc 14, 2009 10:10 pm

User-agent apparemment. J'ai le log en stock mais je le garde en privé. Ce jour-là la pointe sur les stats était vraiment flagrant - 19% du volume en ko du mois en un jour... L'UA du bot est bitlybot mais il apparaît sous plusieurs IPs.

Ca avait fait pareil le jour où le bot "80legs" était passé (ua : 80bot/0.71).
NanaM
PR0
PR0
 
Messages: 74
Inscription: Mer Nov 25, 2009 10:04 am

Re: Multibot style bitly

Messagede dcz » Mer Déc 16, 2009 8:49 am

NanaM a écrit:L'UA du bot est bitlybot mais il apparaît sous plusieurs IPs.


C'est pas grave ça, colle bitlybot dans ton groupe de bots et hop ;)
Useful links :
SEO Forum || SEO Directory || SEO phpBB || Search
____________________

Liens Utiles :
Forum référencement || Annuaire référencement || Référencement phpBB || Recherche
dcz
Admin
Admin
 
Messages: 21429
Inscription: Ven Avr 28, 2006 9:03 pm

Re: Multibot style bitly

Messagede trefle » Lun Avr 05, 2010 12:57 pm

Salut,

c'est généralement twitter qui transforme les liens postés en bit.ly/XYZXYZXYZXYZXYZ .

Trefle.
Trefle
trefle
PR6
PR6
 
Messages: 676
Inscription: Mar Juin 03, 2008 5:46 pm

Re: Multibot style bitly

Messagede NanaM » Lun Avr 05, 2010 3:12 pm

Salut,

Je crois que c'est différent là, il s'agissait bien d'un bot et pas de N visiteurs qui auraient visité un lien bit.ly ou depuis twitter.
NanaM
PR0
PR0
 
Messages: 74
Inscription: Mer Nov 25, 2009 10:04 am

Re: Multibot style bitly

Messagede trefle » Lun Avr 05, 2010 3:13 pm

NanaM a écrit:Salut,

Je crois que c'est différent là, il s'agissait bien d'un bot et pas de N visiteurs qui auraient visité un lien bit.ly ou depuis twitter.


Le robot vient peut être lors de la création de lien ...
Trefle
trefle
PR6
PR6
 
Messages: 676
Inscription: Mar Juin 03, 2008 5:46 pm

Re: Multibot style bitly

Messagede NanaM » Lun Avr 05, 2010 3:34 pm

Non je ne crois pas, je suis le nombre de fois qu'un lien que je poste sous twitter/bit.ly est suivi, au plus c'est 4-5 fois en tout, 10 à tout casser - petite communauté, peu de followers pour l'instant. Là il s'agissait de 80 visiteurs apparaissant sous username "bit.ly", en même temps. Un utilisateur qui aurait suivi le lien bit.ly n'apparaîtrait pas de la même façon dans le panneau "qui est en ligne".
NanaM
PR0
PR0
 
Messages: 74
Inscription: Mer Nov 25, 2009 10:04 am

Re: Multibot style bitly

Messagede NanaM » Jeu Avr 08, 2010 6:55 pm

Tiens, je viens de remarquer juste après avoir twitté un lien vers mon site, une avalanche de bots dans la minute qui suit est passée voir ce sujet (des bots que je ne vois pas souvent autrement sur le forum, à part Google bot) :

OneRiot/1.0

R6_FeedFetcher

radian6_linkcheck_

Google bot

Chainn mxbot

PycURL/7.18.2

Python-urllib/2.5

Ellerdale crawler

PostRank/2.0

JS-Kit URL Resolver

Voyager/1.0

Twitterbot/0.1

NjuiceBot

bitlybot

Tous ces bots crawlaient le même sujet, celui pointé sur Twitter via bit.ly. MSNbot était le seul bot à crawler le forum comme si de rien n'était, sur une autre sujet ;-)

Mais c'était différent de ce que je décrivais au début de ce sujet, car là il s'agit de bots différents.
NanaM
PR0
PR0
 
Messages: 74
Inscription: Mer Nov 25, 2009 10:04 am

Re: Multibot style bitly

Messagede geobiologie » Jeu Déc 30, 2010 5:25 pm

comme quoi les reseau sociaux sont une piste à explorer...

merci pour l'info
geobiologie
 
Messages: 18
Inscription: Sam Avr 10, 2010 7:57 am


Retourner vers Autres Moteurs de Recherche

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 2 invités