[Archive] mx Google Sitemaps 1.0.1

[SeO]

ATTENTION

La nouvelle version est sortie : Pour mettre à jour rendez vous sur ce sujet.

Ce qui suit est conservé pour archive.

Le support pour la 1.0.1 sera maintenu quelques temps pour les installations existantes.
Veuillez ne pas utiliser cette version pour une nouvelle installation.

--------------------------------------------------------------------------------------

mx Google Sitemaps

---

Nom Du Module : mx Google Sitemaps

Auteur : dcz / www.phpBB-SEO.com

Description : Ce module va créer des plans de site Google Sitemaps pour phpBB et mxBB Portal (le cas échéant).

Version : v1.0.1

Niveau d'installation : Facile pour la base, Avancée en utilisant le mod_Rewrite.

Temps d'installation : 3 Minutes pour la base, un peut plus en utilisant le mod_Rewrite.

Notes de L'Auteur :

---

Solution modulaire de Sitemaps Google pour phpBB et mxBB Portal.

Ce mod va créer un SitemapIndex, établissant la liste des Sitemaps installés.

Veuillez vous assurer que vous avez correctement installé mx Google Sitmaps avant de soumettre le fichier sitemap.php (ou sitemaps.xml avec le mod Rewrite) au Service Google Sitemaps.

Ce mod est initialement inspiré de celui de jhaskins's : Google sitemap generator (Joe Haskins ~ http://www.streetrod3.com) mais il a été totalement recodé pour un résultat tout à fait différent.

Le code est fait pour être le plus rapide possible, tout en donnant le plus d'informations possible (Liens plus date de dernières modification).
Le système de template de phpBB n'est pas mis à contribution, toute la sortie est faite en utilisant echo pour de bien meilleures performances, rendant l'utilisation de ce mod possible pour de très gros forums.
Ce module a été testé sur des listing de forums contenant plus de 5000 sujets uniques (ce qui signifie bien plus de liens en comptant le pagination des sujets) avec succès.
Et il devrait être possible d'aller plus loin encore, Google autorisant jusqu'à 50 000 url par Sitemaps.
Et comme il n'est pas forcement utile d'utiliser trop de ressources serveur en listant 50 000 url dans le Sitemaps d'un forum, ce qui reviendrais à ressortir de très vieux sujets, vous pouvez limiter le nombre de liens en sortie dans l'ACP, pour que dans tous les cas vous puissiez tirer parti du système.

Pourquoi un tel système :


Comme vous le savez sûrement, Google Bot, comme d'autres robots d'indexation, explore les pages de vos sites afin de les faire apparaître dans les moteurs de recherche.
Les Bots doivent tout d'abord trouver un lien vers votre site, en général la home, avant d'y trouver d'autres liens vers les pages de votre site.
La plupart du temps, ils reviendrons plusieurs fois avant de tester les liens trouvés sur la page d'entrée, et de répéter la séquence 1) explorer un nouvelle page 2) tester les liens présent sur celle ci.
Vous comprendrez que cela peut prendre un certain temps avant qu'un moteur de recherche ne trouve toutes les url de votre site.
Car ils ont beaucoup de travail avec les milliards de pages du net, et il leur faut beaucoup de visites pour découvrir tous les liens d'un site, d'autant plus s'il faut passer par différentes pages avant de trouver des liens vers un contenu "recherche-able".

Le contenu intéressant dans un forum phpBB se trouve dans les sujets. Trouver leur url revient, la plupart du temps (toujours si on veut utiliser les meilleurs url, celle des sujets, et concentrer le Page Rank sur celle ci), à charger une url d'un forum sur l'index de phpBB, puis à charger l'url d'un sujet de la liste du forum. Et cela est rendu encore plus difficile pour les forums comportant plusieurs pages de sujets.

C'est pourquoi un tel système existe, pour fournir un nombre important de liens à Google Bot en très peut de visites. Tout le monde y gagne, moins de visites sont nécessaires pour trouver du contenu, qu'il soit nouveau ou simplement mis à jour, et ces visites sont beaucoup plus productives.

Avec ce système, le Google Bot visitera le SitemapIndex, seul fichier à enregistrer chez Google, et y trouvera un Sitemap par forum ainsi qu'un sitemap listant tous les forums. Chaque élément de la liste fournit une url vers un sitemap ainsi que sa date de dernière modification, basée sur celle du dernier message de chaque forum.
Google Bot n'aura qu'à suivre les liens vers les plans de site modifié depuis sa dernière visite pour y trouver jusqu'à 50 000 url pointant vers les sujets de ce forum avec, encore une fois, une date de dernière modification basée sur la date du dernier message de chaque sujet.
Aucune visite inutile donc, Google Bot n'aura qu’à explorer les liens des sujets modifiés depuis sa dernière visite pour trouver du "neuf".

Par défaut, toutes les listes affichent le contenu le plus récent en premier. Il est donc possible de limiter le nombre de liens (dans l'ACP) au disons, derniers 1000 sujet actifs seulement, de façon a économiser des ressources serveur tout en ne risquant pas trop de laisser des nouveaux sujets passer inaperçu (enfin si vous avez moins de 1000 nouveaux sujets par 24 heures et par forum )
Il est également possible (dans l'ACP) d'inverser l'ordre du tri. Cela peut s'avérer utile pour commencer tardivement le référencement d'un gros forum, cela permettrait de fournir les listes des url des sujets les plus anciens, mais cela ne devrait qu'être utilisé de façon temporaire, pour ne pas compromettre la découverte de nouveau sujets.

Une fonctionnalité supplémentaire a été ajouté dans la version 1.0.1. Il est désormais possible d'exclure des forums publics (le cas échéant, des pages publiques mxBB et des catégories d'articles KB publiques) du listing depuis l'ACP.
Cela permet de réduire l'importance de certains forums que vous souhaiteriez moins optimiser.

Avec KB, c'est la même chose, un Sitemap par catégorie publique établissant la liste des url des articles approuvés. La date de dernière modification est basée sur celle du dernier commentaire.

Avec mxBB Portal, un Sitemap établissant la liste des url des pages du portail apparaîtra dans le SitemapIndex. Malheureusement, dans ce cas, pas de date de dernière modification, cette information n'existe pas dans ce cas.

En conclusion, ce mx Google Sitemaps va vraiment rendre les choses plus facile pour votre référencement sur le moteur de recherche Google (et donc bien d'autre utilisant ses résultats). Il ne favorisera pas le PageRank (PR) de vos page, car les liens fournis ne sont pas pris comme de BackLinks, mais il facilitera grandement l'exploration de vos pages.
La majorité des visites du Google Bot seront désormais utilisées pour mettre en cache du nouveau contenu, plutôt que pour simplement trouver de nouveaux liens ou simplement revenir sur ceux connus pour voir s'ils ont évolués.
Plus de pages mises en cache en moins de visites et le nouveau contenu trouvé plus rapidement. Tout le monde y gagne.
Et si vous mettez un lien html vers votre SitemapIndex quelque part (un seul, pas trop de liens non plus car vous ne voulez pas non plus de visites inutiles sur cette page) vous verrez que beaucoup d'autre robots d'indexation exploreront vos Sitemaps.



Le version 1.0.1 ne devrait plus poser aucun souci avec ORACLE ou POSTGRE. A valider.

Si votre standard de réécriture d'url n'est actuellement pas pris en charge par les mod Rewrites phpBB SEO, vous pouvez envoyer une demande dans le Forum mod Rewrite phpBB. La Team fournira des fichiers prémodés.

---

Langages :

Français, Anglais.

Démo :

Installation phpBB "Vanilla"
SitemapIndex
Sitemap Forums
Sitemap du Forum n°2
Prévisualisation de l'ACP

Installation mxBB :

Télécharger :

mx Google Sitemaps V 1.0.1

Mise à jour :

• phpBB :
  Pour mettre à jour depuis la version RC1 ou RC2, vous devrez suivre la procédure d'installation.
  Vous devrez ensuite ré-entrer vos réglages dans l'ACP.
  
• mxBB :
  Pour mettre à jour depuis la version RC1 ou RC2, vous devrez tout d'abord désinstaller le module dans l'ACP puis suivre la procédure d'installation.
  Vous devrez ensuite ré-entrer vos réglages dans l'ACP.
  

Détails :

Sitemaps Créés :

Un sitemapindex établissant la liste de toutes les sitemapes installées
Un sitemap listant les forums publics
Un sitemap par forum public, listant ses sujets.


Quand KB est installé : (avec phpBB ou mxBB PORTAL)


• Ajoute les entrées nécessaires dans le SitemapIndex
  
• Un sitemap listant les catégories publiques
  
• Un sitemap par catégorie listant les articles approuvés.

Quand mxBB PORTAL est installé :


• Ajoute une entrée dans le SitemapIndex
  
• Ajoute une option dans l'acp permettant de définir l'ID de page mx sur laquelle se trouverait KB
  
• Un sitemap listant toutes les pages publiques de mx.



Code Otpimisé :
Toutes le requêtes sql potentiellement gourmandes sont séparées en cycles, configurable dans l'ACP.
Possibilité de limiter le nombre total d'url par Sitemap, configurable dans l'ACP.
Possibilité de lister, et limiter, la pagination des sujets, configurable dans l'ACP. La pagination est limité de cette façon :


Code:

"begin"               "end"     |                    |     |   Down    Up       |     |     |     |        |     v     v     v        v     1, 2, 3 ... 10, 11, 12


Seulement le contenu public et valide est listé. Sitemaps 100% Valides.

Améliorations prévues :

Fonctionnalités :
N'hésitez pas à proposer, un système de cache, un listing Yahoo peut être?.

Support pour d'autres Mods :
A voir quels Mods pourraient bénéficier d'un tel listing.

Support pour d'autres mod_Rewrite :
Les fichiers prémodés pour chaque type de mod_rewrite seront ajoutés dans la release à la demande.

Contribution :

Fichiers Prémodés pour plusieurs standards d'url inclus dans le dossier "contrib/" de la release.
Pour les utiliser, écrasez simplement les fichiers originaux avec ceux de la contrib.
Standard d'url actuellement supportés : phpBB SEO Mod Rewrites, Webmedic's rewrite mod, able2know rewrite mod, GoogleBB Links ...

Support :

Support Français à la suite de ce message. Pour des adaptations du mod, merci de lancer un nouveau sujet dans ce forum.
English Support

Previsualisations :

Voici ce que vous verrez dans le panneau d'administration. Dans cet exemple, mx Sitemaps n'est pas installé, le module mx Google Sitemaps n'utilisera et n'installera que le menu Google SiteMaps.
Les menus de mx SiteMaps s'installeront dans la même catégorie si vous l'utilisez.

Note : Des options supplémentaires s'afficheront si vous utilisez mxBB Portal et KB. Elle permettent de specifier l'ID de page de KB ainsi que les exclusions de catégories et pages mxBB publiques.

ACP Menu :

---

Sitemaps Google

Le systeme de sitemap Google permet au GoogleBot de trouver facilement les liens vers le contenu pas imediatement accessible depuis l'index. Ce systeme génère un index des Sitemaps pointant vers les differents Sitemaps installés.
Vous devez enregistrer votre sitemapIndex chez Google si vous voulez profiter des statistiques offerts.
Il existe cependant des systèmes de soumissions anonymes

Configuration Générale
Cycle SQL Les grosses requêtes SQL sont séparées en plusieurs itérations pour ne pas surcharger le serveur. Valeur par défaut : 200 éléments par requêtes.
Limite URLs Le nombre maximum d'éléments retournés dans chaque sitemap. Cette limite étant vérifiée à chaque cycle SQL, le nombre d'urls retournée correspond donc à cette limi+- 1 cycle + plus le nombre d'url éventuellement générées par la pagination des sujets du dernier cycle. Ce nombre est donc limité à 40 000 par défaut sachant que Google accepte jusqu'à 50 000 urls par sitemap.
Classement Tous les liens sont classés comme les sujets d'un forum (dernier actif DESC). Vous pouvez inverser la tendance, pour par exemple faciliter la remise en cache des sujets inactifs depuis longtemps dans l'index de Google	DESC   ASC
Réécriture d'URL Cette option active le mod rewrite pour l'index des sitemaps, les url des sitemaps seront de la forme "forum-sitemap-xx.xml". ATTENTION : vous DEVEZ utiliser un serveur Apache (mod rewrite activé) et mettre correctement en place le .htaccess situé dans le dossier contrib/ de cette release. NOTE : Cela n'affectera que les url des sitemaps contenues dans l'index des sitemaps. Google n'a pas de problèmes avec les sitemaps non réécrites.	Non   Oui
Spécifique Sitemaps Forums
Exclusion de forums Permet d'exclure une sélection de forums publics des Sitemap Google. Entrez les ID de forums à exclure séparée(s) par des virgules (ex : 28,30,12). Note : Laisser vide pour lister tous les forums publics.
Priorité des Annonces Défini la priorité accordée aux Annonces du forum (nombre compris entre 0 et 1.0 inclus)
Priorité des Post its Défini la priorité accordée aux Annonces du forum (nombre compris entre 0 et 1.0 inclus)
Priorité par défaut Défini la priorité accordée aux autres sujets du forum (nombre compris entre 0 et 1.0 inclus)
Pagination des Sujets : Limite Basse La pagination des sujets est prise en compte et vous pouvez la limiter. Entrez ici le nombre de premières pages de chaque sujet à prendre en compte. Entrez 0 pour ne pas retourner de liens vers les premières pages des sujets.
Pagination des Sujets : Limite Haute Il s'agit ici de définir le nombre de pages à prendre en compte en partant de la fin. Entrez 0 pour ne pas retourner de liens vers les dernières pages des sujets.

mx_ggsitemaps v1.0.1
(C) 2006 dcz - http://www.phpbb-seo.com/

[dcz]

Ajout de contenu dans le listing de mx Google Sitemaps :

Voici un petit add on qui va nous simplifier encore la vie.

L'idée est très simple, trois fichiers à uploader dans mx_ggsitemaps/includes :

index_site.php
sitemap_site.php
url_list.txt

Une nouvelle URL de plan de site Google va pointer son nez dans le SitemapIndex :

http://www.example.com/sitemap.php?site

Ce nouveau plan Google Sitemaps va tout simplement afficher la liste des URLs que vous mettrez dans url_list.txt, une par ligne, et sous leur forme complète :

http://www.example.com/url.html

Donc, en résumant, vous n'avez qu'a uploader les trois fichiers, mettre les URLs que vous voulez lister dans url_list.txt et hop

Attention :

Les URLs listées dans url_list.txt doivent être du même domaine (ou sous-domaine) que le SitemapIndex (sitemap.php) et ne pas être situées dans un dossier plus haut dans l'arborescence.

Si sitemap.php se trouve dans : www.example.com/dossier/sitemap.php

Vous pouvez ajouter :

http://www.example.com/dossier/*.*

Mais pas :

http://www.example.com/*.*

Ni :

http://sous-domaine.example.com/*.*

Vous pouvez théoriquement pousser jusqu'à 50 000 URLs dans url_list.txt, mais, sans avoir testé plus que quelques centaines, je pense que qu'il vaut mieux na pas trop dépasser les 2 ou 3000 URLs.

Vous pouvez facilement cloner cet add on en appliquant la procédure suivante :

1. Renommez une copie des trois fichiers en :
   
   
   index_site1.php
   sitemap_site1.php
   url_list1.txt
   
   
2. Ouvrez : index_site1.php
   
   Remplacez :
   

   Code:

   echo "\t\t" . '<loc>' . $root_url . 'sitemap.' . $phpEx . '?site</loc>' . "\n";

   
   Par :
   

   Code:

   echo "\t\t" . '<loc>' . $root_url . 'sitemap.' . $phpEx . '?site1</loc>' . "\n";

   
   
3. Ouvrez : sitemap_site1.php
   
   Remplacez :
   

   Code:

   $site_map = ( isset( $HTTP_GET_VARS['site'] ) ) ? TRUE : FALSE;

   
   Par :
   

   Code:

   $site_map = ( isset( $HTTP_GET_VARS['site1'] ) ) ? TRUE : FALSE;

   
   Remplacez :
   

   Code:

   $url_array = @file($module_root_path . "mx_ggsitemaps/includes/url_list.txt");

   
   Par :
   

   Code:

   $url_array = @file($module_root_path . "mx_ggsitemaps/includes/url_list1.txt");

Ce qui vous permet d'ajouter facilement autant de nouvelles listes que nécessaire.

Elle seront, dans cet exemple, accessible depuis http://www.example.com/sitemap.php?site1

De cette façon, il est tout à fait inutile de faire de trop gros url_list.txt, il vaut mieux en faire plusieurs si vraiment vous avez beaucoup d'URLs à lister (url_list1.txt url_list2.txt ... url_listN.txt).

Pour vous faciliter la vie : SiteSpider.

Ce programme, comme bien d'autres également disponibles, va, moyennant quelques réglages, vous sortir une belle liste d'URLs, une par ligne.
Pensez à ne pas lister les URLs déjà présente dans les autres plan Google Sitemaps
Vous pouvez exclure celon pas mal de critères avec SiteSpider.

Si vous rencontrez des problèmes pour utiliser SiteSpider, merci de lancer un sujet (ou de répondre à ceux déjà lancés sur ce sujet) dans le Forum Techniques de Référencement

D'autre techniques pour établir de Gros listing sont disponible sur le net, n'hésitez pas à nous faire part d'autre solutions

Télécharger le Pack : mx Google Sitemap txt plugin

++

[philippe]

Fichier sitemaps.php

Ligne 30 :
$sitename = $borad_config['sitename'];
ne devrait il pas être
$sitename = $board_config['sitename'];

[dcz]

[philippe]

Petites erreurs dans le fichier /includes/sitemap_kb

Ligne 119

[philippe]

Normalement je devrais avoir la liste des articles de la kb dans la sitemap kb ?

J'ai juste la liste des catégories ...

[dcz]

C'est pareil que pour les forum, un plan par catégorie publique listant les articles approuvés.

-http://www.forum-newbeetle.com/phpBB2/kb-sitemap-3.xml

Par contre, le listing n'est réalisé que pour les catégories ayant un forum de commentaire défini, et les articles ayant un sujet de commentaire définit.

++

[philippe]

Autant pour moi, j'avais pas vu cette map !!!

Merci

[dcz]

hehe, no problème tant que Google la voit

[philippe]

[dcz]

C'est bizarre ça, pas plus tard qu'il y a 5 minutes, je voyais la liste des article dans -http://www.forum-newbeetle.com/phpBB2/kb-sitemap-3.xml

[philippe]

C'est bon, j'avais une erreur dans le fichier sitemap-kb.php

Un pas de plus pour moi

[dcz]

[jcg11290]

Bonjour,

Tous mes rewrites fonctionnent et vérifiés par dcz mais je ne parviens pas à créer les fichiers sitemaps.xlm...

il n'y a que le fichier sitemap.php sans les rewrites qui fonctionne http://www.clic-nature.info/forum/sitemap.php

Donc, j'ai du oublier qqe chose mais j'ai beau fouiller dans le forum, je ne trouve rien qui puisse me mettre sur la voie...

Par avance, merci..
J.Cl.

[jcg11290]