A la mi-octobre 2005, j'ai créé avec un copain le site suivant:
http://www.vag-forum.com

Au départ, pratiquement toutes les pages du forum étaient indexées en un temps records. Mais ensuite, c'était la catastrophe, il ne restait guère plus que le portail du forum qui était référencé bien que j'avais mis en place un site map...

Mais étant très occupé par mon boulot et ayant également pas mal de loisirs, j'ai laissé traîner les choses jusqu'à ce que je réagisse en début de ce mois.

J'utilise ezPortal et le forum est placé dans le sous-répertoire /forum

Du coup http://vag-forum.com est redirigé automatiquement vers http://vag-forum.com/forum/portal.php en utilisant la balise META:

Code: Tout sélectionner

<meta http-equiv="refresh" content="0;url=forum/portal.php">

Je ne sais pas si c'est la vraie raison, mais je pense que c'est à cause des 2 url différentes qui affichent le même contenu. J'ai donc conclu qu'il fallait déplacer le portail directement à la racine du site.

J'ai donc utliser à cet effet le mod Move portal outside of phpBB root et j'ai donc interdit aux robots : /forum/portal.php (mais elle est encore visible dans les résultats de Google).

De 2 pages indexées, je suis passé à un peu plus de 10 000 sur Google en moins d'une semaine

Par contre, ce qui me parait bizarre c'est que j'ai autant de pages indexées mais lorsque je clique par exemple dans les résultats de Google pour aller à la page 10, je me retrouve en page 3 la semaine dernière et maintenant je peux aller jusqu'en page 16.
Est-ce normal ?

J'ai remarqué également, que j'ai des liens qui sont indexés avec et sans www
J'ai donc lu attentivement l'excellent article Forcer le www dans les URLs qui m'a permis de comprendre que ce n'est vraiment pas bon d'avoir ces 2 possiblités pour accéder à une même page.

J'ai donc créé le fichier .htaccess suivant

RewriteEngine on
RewriteCond %{HTTP_HOST} ^vag-forum\.com$ [NC]
RewriteRule ^(.*) http://www.vag-forum.com/$1 [QSA,L,R=301]

Mais pour l'instant, dans la configuration du forum, j'ai encore laissé sans le www le temps que Google revienne sur le sitemap pour lui faire comprendre qu'il ne faut plus indexer tout ce qui est sans les www . Ai-je raison d'attendre au moins un passage et ensuite reconfigurer le forum avec les www ?

J'ai encore beaucoup à apprendre sur le référencement et après le rewriting...

N'hésitez pas à donner vos opinions car je débute complètement dans ce domaine.

J'ai oublié d'indiquer que j'ai également mis les balises suivantes dans chaque page:

Code: Tout sélectionner

<meta http-equiv="content-language" content="fr" />
<meta name="robots" content="index, follow" />

Encore un autre oubli : j'avais dès la création du forum installé le Mod Guest Sessions de CyberAlien ( http://www.phpbbstyles.com )

Donc, pour ce qui est de la méta refresh, c'est clair que ce doit être ça qui bloquais le référencement de ton site. Les bots détestent les meta refresh.
C'est même pire qu'un duplicate.

Donc pas étonnant que ton forum soit mieux indexé après tes dernières modifs.

10 000 pages en une semaine, c'est pas si évident, car Google met parfois du temps entre ces crawl, la mise en cache et l'inclusion dans ses résultats. Il peut donc avoir mis un peut plus de temps que ça en tout.

Mais on a vu qu'il pouvait sans souci mettre en cache 38 000 URLs en un mois, donc, c'est pas non plus si énorme. Tout dépend de ton site.

après Google ne liste pas forcement les 10 000 entrées, mais j'arrive tout de même à la page 44 en incluant les résultats ignorés.

En fait dans le principe, Google ignore principalement les page qu'il considère comme des duplicates ou comme de moindre importance.
Tu as beaucoup d'url de message listés par exemple, une source d'environ 25 duplicate par page de sujet.

Dans ton cas il est fort probable qu'une optimisation de ton référencement réduise le nombre d'entrée dans le listing Google, car il y aura une réduction drastique des duplicates.

Pour le préfixe www, la règle permet justement de ne plus s'en soucier, si Google tente de suivre une URL sans le préfixe www, la redirection lui "dira" directement de ne plus prendre en compte cette URL sans le préfixe et de continuer sa visite avec. C'est totalement automatique, tu as juste besoin de t'assure que la redirection redirige bien et hop

Pour la méta, c'est bien, il y a un bon mod pour ça ici, même si c'est pas une optimisation majeure, ça aide.

Pour guest session, et bien parfait, c'est l'étape zéro de franchie dans ta quête du référencement

Maintenant, pour ce qui est de ton site, je pense que tu devrait lire ce message sur les différentes solutions de réécriture d'url proposées sur phpBB SEO.

Dans ton cas je pencherais assez pour le mod rewrite phpBB SEO avancé, mais l'intermédiaire pourrait aussi être très efficace.
Je dis cela parce que je trouve que tes membres postent des titre assez corrects et que dans l'ensemble ton forum a l'air bien cadré dans les sujets qu'il aborde.

En plus avec l'arrivée toute prochaine du zéro dupe, il sera possible de modérer les titres des sujet sans heurts.

Le compromis à atteindre sera donc, la modération des titres ne sera elle pas une trop lourde tache ? (dans ton cas, pas vraiment car tu est aidé par une bonne qualité moyenne).

Voilà.

Je te conseille vivement de ne pas te lancer trop vite, surtout si tu n'as pas essayé le mod rewrite avant ça. Pas que ce soit difficile, mais se préparer et se renseigner un minimum sur ce qu'on fait en la matière est une très bonne chose, tester en local encore plus.

Regarde le code des installes, tu verra qu'à part mettre les bons chemins dans le .htaccess, il n'y a rien de sensible.

++

Merci beaucoup pour le temps passé à faire cette analyse bien détaillée.

Je comprends donc maintenant la source de mon erreur et à l'avenir, j'éviterai donc la meta refresh.

Pour l'optimisation des Meta, je vais suivre tes conseils et installer le Toolkit Meta Tags Dynamiques phpBB SEO.

Oui c'est clair qu'après une bonne analyse des pages de résultats de recherche dans Google, j'ai énormément de duplicates parmis ces 10 000 pages indexées. Si j'ai bien compris, ces pages ne seront pas mises en avant par Google lors d'une requête et au contraire resteront dans les profondeurs. Ce n'est pas donc de cette façon que le site se fera connaître.
La fonctionnalité zéro duplicate du mod rewrite phpBB SEO me permettra de réduire ces duplicates et par conséquent cela réduira le nombre de pages indexées mais pour la bonne cause puisque Google attachera beaucoup plus d'importance à ces pages restantes et les remmettra donc bien plus en avant.
Mon cas est donc une exception à la règle puisque le mod rewrite réduira le nombre de pages indexées.

Je vais donc me donner un petit temps de réflexion quant au choix du mod rewrite phpBB SEO : intermédiaire ou avancé.

Merci

La seule méthode de redirection qui vaut pour conserver PageRank et compagnie c'est HTTP 301.

Celui là même qui fera une coupe franche dans le nombre de pages de ton listing.
Et les duplicates sont bien pire que pas mis en avant, ils plombent le référencement des bonnes pages aussi, et de ton site par la même.
En fait, tous ces duplicates sont en quelques sort en "compétition" pour sortir sur les requêtes qui les concernent.

Plus de duplicates = reconcentration sur une unique URL de chaque sujet du forum, et cela n'empêche rien du tout, les url des sujets sont, en plus d'être les plus intéressantes pour le référencement, tout à fait à même de lister tout le site sans duplicates.

C'est plus que beaucoup mieux de ne plus en avoir.

++

Maintenant, c'est le retour à la case départ, car je suis revenu avec un nombre de pages indexés qui se compte sur les doigts de la main.

Je vois 2 raisons à cela, mais laquelle ? :
- la première, j'ai forcé sur le site de google sitemap le passage de vag-forum.com à www.vag-forum.com donc google est en train de réorganiser l'indexation d'où un retrait temporaire des pages.
- trop de duplicates, donc google a retiré les pages concernées

Y-a-t-il une autre raison ?

Du coup, j'en ai profité pour installer le phpBB SEO Advanced mod Rewrite

D'ici ce week-end, je m'occuperai du mx Google Sitemaps
J'ai déjà retiré l'ancien sitemap qui ne prend pas en compte les url rewrite.

Edit: au bout d'une journée, les pages indexées sont revenues.

Comme je te l'ai dit, la redirection du préfixe www est transparente, la réduction de duplicates qui s'en suit est douce et régulière, pas brutale.

Par contre il y a pas mal de mouvement en ce moment, plusieurs signes me font pencher pour une Google dance dans pas longtemps.

Et penses pas trop au nombre, c'est rien le nombre, ce qui compte c la qualité.
Si tu dilue chaque page en 50 duplicates, tu aura certainement plus de pages indexées, mais encore plus certainement de moins bon résultats dans les résultats des moteur de recherche, et fatalement moins de visites.

C'est du 100% ça.

Et j' ajouterai

Code: Tout sélectionner

Disallow: /forum/membre

dans ton robots.txt, les profils ne sont pas de bonnes entrée de recherche et ont tendance à faire perdre pas mal de temps aux bots.

++

D'accord, je rajoute l'instruction dans robots.txt ce soir.

J'ai préparé le mx Google Sitemaps V 1.0.1 en local, je vais faire tranquillement l'upload cette nuit.

Google a commencé timidement à indexer les bonnes URL (2 pour l'instant). C'est déjà un bon début, en attendant le nouveau sitemap.

Par contre, il reste encore énormément d'anciens url indexés sans le www et de plus sans le rewrite (et donc duplicates). Dois-je également soumetre à nouveau l'ancien sitemap pour accélérer le retrait de ces anciennes URL ?

Si tu veux bêta tester le zéro dupe, ce qui sera un bien grand plus pour ton cas, garde juste ça dans ton robots.txt :

Code: Tout sélectionner

User-agent: *
Disallow: /forum/index.php?
Disallow: /forum/posting.php
Disallow: /forum/groupcp.php
Disallow: /forum/search.php
Disallow: /forum/login.php
Disallow: /forum/memberlist.php
Disallow: /forum/membre

et PM

ça y est, j'ai installé hier soir le mx Google Sitemaps.
Comme convenu, je viens de t'envoyer un MP pour le Zéro Dupe.

Le zéro dupe a été correctement installé, encore merci

J'aimerais savoir pour essayer de favoriser l'indexation des bonnes pages du site s'il ne serait pas souhaitable dans un premier temps d'interdire l'indexation des pages de l'album photo par les bots ?

(l'installation du mx sitemaps est en cours...)

mm, je pense pas.
Il n'y a aucun risque de duplicate donc pas la peine, surtout que Google serait pas très content de voir ces pages interdites puis ré-autorisées.

++

D'accord, je laisse tel quel.

Mon site est passé d'un pagerank 2 à 1
Faut-il que je fasse une redirection 301 sur http://www.vag-forum.com/forum/portal.php vers http://www.vag-forum.com ?
car on retrouve cette page dans par exemple les résultats de ces recherches :
http://www.google.fr/search?q=vag+forum
http://www.google.fr/search?q=vag&hl=fr&start=17&sa=N

Et maintenant, cette page correspond à http://www.vag-forum.com

Par contre, je commence à avoir moins de duplicates car Google a commencé à faire le tri. Mais ce tri n'est pas encore terminé.

Par contre, en tapant vag sur Google, le site est maintenant en 3ème page, or avant elle était dans les profondeurs...