News de Les roBots

Bonjour à tous

En consultant les pages référencées par Google, je me suis aperçue que certaines url étaient indéxées (mais non mises en cache) alors qu'elles sont interdites de crawl par le robots.txt. :shock:

Ces url sont de la forme: -http://www.micro-astuce.com/Forum/post9557.html ou encore
-http://www.micro-astuce.com/Forum/membre60.html



Pourtant, dans les statistiques de spyword, ces urls n'apparaissent pas comme ayant été crawlées.


Le phénomène est visible sur MSN et ...

Bonjour,

Ah, ben j'inaugure cette partie du forum on dirait. :D

Je suis en train de modifier mes pages HTML en PHP afin de pouvoir rajouter la commande "include".
J'en ai ajouté 3 en fait :

haut.php
bas.php
gauche.php

Le gain de confort est indiscutable.
En revanche je ne vois pas d'utilité à ce que ces pages soient indéxées individuellement par Google alors j'ai ajouté ceci ...