News de Les roBots

Bonjour. Je sollicite votre aide aujourd'hui. Je soupçonne des programmes ou robots de vouloir aspirer mon site (pour la même IP, plusieurs pages vues... rien d'un comportement humain...)

Existe-t-il un script qui me permettrait (en PHP ou HTACCESS ou robots.txt) de DETECTER ce type de robot : une IP parcourant X pages avec un intervalle d'un temps Y ?

Merci de votre aide !

Bonjour,

voila j'ai un site internet et je vient de voir dans les outils pour les webmaster
133 URL à accès restreint par un fichier robots.txt


est il possible de m'explique les démarche à suivre pour que le robot.txt puise explorer les fichier
pour information je suis sur prestashop

:oops: désoler je ne connais pas trop en informatique :oops:

Salut all,

Je viens de m'apercevoir que google a un nouveau robot pour l'affichage des pages en temps reels sur son moteur.
Je viens de le controler et voici comment le repérer :
Nom : Google Web Preview
Agent : Google Web Preview
J'ai fais plusieurs tests sur les ip, mais pas de moyen de gerer avec car trop differents.

Enjoy.

Bonjour,

Je viens de me rendre compte que dans outils dans l'outils webmaster de google, il rencontre 848 pages URL à accès restreint par un fichier robots.txt et ce qui me fait un peu peur !!!!

User-agent: *
Disallow: /forum/viewtopic.php?
Disallow: /forum/viewforum.php?
Disallow: /forum/index.php?
Disallow: /forum/posting.php?
Disallow: /forum/groupcp.php
Disallow: /forum/profile.php?
Disallow: /forum/memberlist.php
Disallow: /forum/login.php
Disallow: /index.php?
Disallow: /modules/
Disallow: /bulletin-board-lc2/
Disallow: /php-lc1/
Disallow: /galleries-photos/
Disallow: /sub_folder/
Pouvez vous me dire comment régler ce problème, car ...

Bonsoir
quel sont les inconvénients d'un robots.txt qui comporte juste ce deux lignes ?

User-Agent: *
Disallow:

Merci

User-Agent: *
Disallow: = ( Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées)