Le bot de Yahoo devient fou

[doudou]

[dcz]

Vérifies bien quand même, car si le bot Yahoo! aime bien tester des 404 pour voir comment réagit le serveur, il le fait pas avec des URL aussi précises.

Je l'ai souvent vu tester des turc plus proche de l'aléatoire, et parfois de façon insistante.

On pourrait imaginer qu'il se mette à tester des URL en suivant des structure existantes, comme tester différentes dates dans un calendrier, mais je doute qu'il puisse trouver des URLs tout seul, sans les avoir vu sur un site.

Je pencherais plutôt pour l'explication simple : ces liens ont été, même brièvement, en ligne, et Yahoo! les a vu, même il y a longtemps.

Ce qui est plus problématique dans ce cas, c'est que ces URLs sont des duplicates de -http://www.soninkara.org/index.php

Donc, il faut au minimum ajouter :

[doudou]

Je t'assure, je n'ai jamais installé Joomla sur mon site, mais jamais.
Déjà que je ne suis pas trop fan des CMS. Par contre un site concurrent au mien possède joomla et mon site est soninkara.org et l'autre est un .com
Meme cela ça n'a rien à voir avec mon site. Ici, je suis sur à 100% que Yahoo les a créés de toute pieces ou il a confondu les deux sites.
Je suis formel la dessus, yahoo n'a jamais vu du Joomla sur mon site

[dcz]

Intéressant.
C'est quoi ton portail du coup ? Du home made ?

Et le .com utilise bien le module calendrier : -http://www.soninkara.com/index.php?option=com_extcalendar&extmode=day&date=2006-08-24

C'est étonnant, mais cela semble bien vouloir dire que Yahoo! a essayé des URLs du .com sur ton .org.

Comme quoi la confusion crée par une telle proximité de projet et domaines peut aussi toucher les bots.

Je dis confusion, c'est pas méchant. Mais je crois que même si le sujet est très proche, ton intérêt est de trouver le plus de moyens possibles de te démarquer de l'autre.

Pour le forum, avec des URLs comme -http://www.soninkara.com/component/option,com_smf/Itemid,6/ ça va pas être trop difficile, mais pour le portail et les article, il faut trouver.
Pour le coup c'est de la "concurrence" au corps à corps, il faut voir catégorie par catégorie : intitulé, url, organisation et articles. En ayant finement observé ce qui constitue pour toi un terrain d'expérience de choix : le .com.
A toi de voir ce qui aurait pu être mieux fait ou différemment, voir simplement ajouté pour te démarquer au mieux

++

[doudou]

[dcz]

C'est pour cela que :

[doudou]

Mais si je fais:

[dcz]

ahh oui, c'est vrai, le CMS et ces superbes URLs.

Et bien, tant qu'il n'y en pas pas trop ...
Autrement, faudrait changer ces URL un peut complexes, c'est vraiment pas top.

Sur du payant, le problème, c'est qu'on ne peut pas compter sur des communautés GPL pour faires des modules, si le propriétaire ne s'en occupe pas ... On va quand même pas bosser gratos pour lui

Après, ça dépend, il se peut que ce soit pas trop compliqué à faire, mais la structure de base est pas de plus simples, il faudrait tout de même bien appréhender le script.
A terme il faudrait mieux faire quelque chose je pense.
++

[dcz]

Bon pour cutenews, on en parle là désormais

[doudou]

Salut je veux juste savoir un truc:
Quelqu(un peut essayer de polluer mon site en ecrivant ailleurs des urls non existantes afin que les bots croient à ses urls et viennent sur mon site en les testant ?
Car le debut correspond bien à mes urls de site mais la fin est une url Joomla que je n'ai jamais utilisé.

Je pose cette question car j'ai vu que Google a essayé une cianquantaire de fois des urls de ce genre avec des id de mes articles, j'ai vu sur mon Robotstats:
+http://www.sonink....org/index.php?subaction=showfull&id=1165074060&archive=&start_from=&ucat=1&option=com_joomap&Itemid=65
+http://www.sonink....org/index.php?subaction=showfull&id=1165074060&archive=&start_from=&ucat=1&option=com_joomap&Itemid=65
+http://www.sonink....org/index.php?subaction=showfull&id=1164994562&archive=&start_from=&ucat=1&option=com_joomap&Itemid=65
Et aussi Google a visité un lien:
http://www.sonink....org/noexist_aed541869b396ba1.html

Ca me deconcerte tout ceci et je me demande comment les bots ont trouvé ces urls...

[dcz]

Si Google s'y met aussi, c'est étonnant en effet. Un peut trop pour une coïncidence.

Faudrait voir quels sont les référent pour ces URLs dans tes logs serveurs, tu retrouvera peut être la page d'où tout cela est parti.

En tous cas, c'est en effet un phénomène à observer.

Il faudrait aussi rediriger toutes ces URLs pour éviter les duplicates (dans un nouveaux sujet dans le forum Techniques de référencement je précise ).

++

[doudou]

Ok, merci dès que je rentre, je jeterai un coup d'oeil...

[doudou]

En regardant mon robotstats j'ai vu que Google visitait des liens de ce type:

[dcz]

Pour les 4 premiers, difficile de se prononcer . A priori, il les a vu sur ton site à un moment ou a un autre, mais avec ce qu'il t'as déjà fait ... Va savoir.

Pour les doubles slash, c'est bizarre, et le truc, c'est qu'ils sont ajoutés au lien relatif de cette page par exemple -http://www.soninkara.org/annuaire///cat_add.php?cat=60

Du coup, les bots visitant cette page voient d'autres liens de ce type.

Je pense qu'une rewriterule pourrait nous aider, un truc comme :

[doudou]

Pour les 4 premiers liens, je ne sais pas comment les bots les ont "vu", vu que les liens de l'annuaire sont réécrits. Voici le htaccess qui est à la racine de mon site