Test de la mise à jour de mx google sitemaps

[dcz]

Et bonjour,

Donc, voilà, ça y es, on va avoir une bêta de la nouvelle solution de plan de site Google.
Je dis nouvelle, car je pense que je vais la rebaptiser au passage, quelque chose comme Ultimate Google sitemaps & RSS, car oui, il y a des fils RSS, et aussi, mais c'est presque accessoire, une belle liste texte Yahoo!

Au menu :

Cache :
Un système complet de mise en cache des plans peut être activé depuis l'ACP.
Tous les plans au sens large ( Google RSS et urllist.txt) sont alors copiés en entier dans un dossier du serveur, ce qui rend les affichages suivant sa sauvegarde, beaucoup plus rapides. Ils sont simplement lus sans être interprétés par le script php pour un résultat comparable à un affichage en directe du fichier source.
Pour l'efficacité en local j'ai :

Premier affichage :


Citation:

<!-- URL list generated in 5.41892 s - 25 sql - 11834 URLs listed --> <!-- Output started from cache after 5.42756 s - sql --> <!-- Output from cache ended up after 6.93087 s - sql -->


Ce qui veut dire que le module construit la liste de 11834 en 5.41892s, que le fichier cache est écrit en 0.00864s(2 119 631 octets), l'écriture prenant fin juste avant l'envoi des données, et qu'il a finit d'être envoyé à l'explorateur 6.93087s après la première demande.

Deuxième affichage :
Ce qui est plus intéressant, c'est que dès la deuxième on a :


Citation:

<!-- URL list generated in 5.41892 s - 25 sql - 11834 URLs listed --> <!-- Output started from cache after 0.00256 s - sql --> <!-- Output from cache ended up after 1.57475 s - sql -->



La première ligne étant là pour nous rappeler le temps qu'il avait fallu pour calculer la page, avant de commencer à l'envoyer. A comparer avec les 0.00256 s qu'il a fallu ce coup ci pour commencer à recevoir des données

Après l'envoi est relativement long car le fichier pèse lourd, 2mo tout de même, et vu le nombre d'urls, le navigateur ne doit pas non plus favoriser une transmission rapide, car lui aussi est mis à contribution, nous y reviendrons.

Pour cela, il y a la possibilité d'activer la compression Gun-zip, sur l'envoi et la mise en cache de données. Un fois activé, la compression transforme nos 2 mo en 48 ko, et comme encore une fois, le fichier est envoyé tel quel, c'est le client qui décompresse, il s'agit alors pour le serveur d'envoyer une lecture transparente d'un fichier de 48 ko avec pour résultat un plan de site Google listant 11834 URLs
Malheureusement la fonction permettant de lire sans décompresser les fichier Gun-zip rend pour l'instant impossible l'affichage des stats de fin d'envois du fichier. Mais c'est clairement plus rapide, même si encore une fois le client est bien mis à contribution.

Le cache peut être mis à jour automatiquement, après expiration d'une durée configurable dans l'acp, ou manuellement depuis l'acp. Chaque type de plan au sens large est configurable séparément sur ces paramètres.

Réécriture d'URL :

Possibilité de changer de type de réécriture d'url pour les plan au sen large depuis l'acp et détection automatique prévue pour les mod phpBB SEO

A noter que l'injection de titre alourdit pas mal nos plan de site, si on reprend l'exemple de tout à l'heure on a :

Premier affichage :

[doudou]

Tout ceci j'en reste baba.
ça va être de la bombe cette version Ultimate Google sitemaps & RSS. Avec toutes ces fonctionnalités et surtout le flux RSS, c'est vraiment génial

[dcz]

Au fait, Google accepte très bien la compression Gun-zip

[philippe]

Wahoooooo quel merveille

Ca va chauffer sur les claviers quand ce sera releasé

[dcz]

hehe

Merci

Au passage, Google a pas pris peur dans la nuit, tous les plan exploré avec la compression Gun-zip, c'est au top.

Encore deux ou trois petit truc à régler et un long post à écrire et la bêta sera lancée.
Je repars d'une bêta car le mod est totalement réécrits, donc il y aura certainement une ou deux petites retouches avant la release, mais il sera tout à fait fonctionnel

++

[KeusssiX]

alors là ça m'enchante

pour les RSS, je n'en suis pas encore là (mais j'y viendrai sans doute...)
mais à mon niveau (de débutant ), j'en étais encore à taper mes adresses manuellement pour urllist de yahoo, et donc pour le forum, ça se résume à deux lignes :

[dcz]

[gowap]

J'ai un peu de mal a m'en sortir avec la compression gzip, vu qu'a priori on mélange compression de fichier physique au format gzip (sitemap.xml-->sitemap.gz) et utilisation de la compression gzip pour transférer des pages web.

Pourquoi :

[dcz]

rooo, il t'a tant déçu que ça ce module ?

Tu sais, l'idée central est simple, se rapprocher au plus près d'un accès direct à des fichier physiques.
C'est vrai que le .gz n'est pas rigoureusement nécessaire, mais cela permet de différencier les plans et de suivre le standard xml. Un fichier xml compressé à l'extension xml.gz, même Google le dit.

Alors oui, il accepte aussi sitemap.php?forum=xx, mais bon, tant qu'à réécrire les URLs, autant viser au plus prêt du standard des fichiers physiques, vu que ce sont ceux qui sont le mieux vu par les bots.

Si ça te gènes tant que ça, ce sera pas difficile à retirer comme truc, tu verra la gestion des URLs est assez centralisée.

Pour ta frustration de voir ces fichiers transformé XSLT, le but est au final, de permettre de massivement lier nos plan et nos fil RSS depuis notre site, avec le cache on peut en faire profiter tous les bots, sans que cela soit perturbant pour les utilisateurs. Il se retrouvent devant quelque chose de compréhensible et peuvent revenir sur le site sans avoir pris peur.

Les quelques sites sur lesquels j'ai testé le concept montrent par exemple que Yahoo adore ça

Voilà pour le et alors

C'est vrai ça, être bien référencé, en ne misant pas que sur un seul moteur de recherche, et alors

Ok pour les priorités, intval() ne renvois pas de virgules Un petit détail à régler.

Pour la liste de flux RSS ( http://www.phpbb-seo.com/rss-channels.xml ), ce doit être toi, il s'y trouve bien la liste complète de tous les canaux, mais il sont tous traités comme tels. Alors oui, un flux avec plusieurs canaux, c'est un peut un concept expérimental, mais c'est pratique. Les items que tu vois sont le flux de chaque canaux. Il sont tous affichés à priori, bien que si tu n'actives pas le JS, le html les descriptions des forums etc ne seront pas interprété avec FF.

Je compte ajouter un switch pour activer ou non ce flux spécial depuis l'ACP, je trouve tout de même pratique de pouvoir afficher la liste complète des flux sur une page.

Pour la liste Yahoo!, dis moi, il t'a porté sur les nerf ce module, des posts, il n'y a que ça dans phpBB , tu voudrais mettre quoi ? Seulement des forums ?

Et tu as dû le voir, il n'y a que des URLs de sujets dans le mod, aucun duplicate, et tu as donc vu juste, la liste Yahoo permet d'afficher L'url du sujet, ou l'url de la dernière page, lié par ancre HTML (et ce n'est pas un duplicate) au dernier message, ou les deux, ce qui est le cas dans l'exemple.
Alors oui, pour cette liste particulière, l'ancre ne sert pas à grand chose, mais de manière générale, c'est pratique de se retrouver en face du dernier post direct quand on suit un lien.
De toutes façon, c'est la partie la moins travaillé pour l'instant, je pense qu'il va changer pour sortir plus d'urls.


Et aussi, j'ai oublier de vous dire, pagination des forum aussi sur : http://www.phpbb-seo.com/forum-sitemap.xml.gz et la pagination est réglable comme pour les sujets


Ça te perturbes tant que ça de pouvoir envoyer des listes de 10 000 URL aussi rapidement qu'un gif de 48 ko ? De pouvoir lier tes plans à mort et en faire profiter tous les bots de la planètes sans que cela surcharge ton serveur ? D'avoir des fil RSS à foison sans duplicates ? et que tu n'ais pas à répéter dix milles fois à tes membres que ce truc bizarre tout vert, est un plan de site Google ?

Même pas un tout petit peut content ?

Et la notification auto pour yahoo, te plairait pas ?

Allé, un peut de joie ne fait pas de mal

++

[gowap]

Bon alors loin de moi l'idée de grogner ou de pas etre content, disons que je devais etre un peu ronchon hier soir quand j'ai posté.
Evidemment je salue ces améliorations, mais la, je me suis concentré sur les points d'incompréhension. Je ne suis absolument pas décu, c'est juste que je ne comprends pas tout, que je suis perturbé par le fonctionnement :

[philippe]

[gowap]

Ca me rassure un peu de savoir que c'est pas moi qui perd la boule et ne voit pas les items.

[dcz]

[gowap]

Je reprends du début histoire qu'on soit bien sur de se comprendre :

Aujourd'hui, nous avons un mod sitemap google qui lorsque l'on appelle le fichier sitemap.xml dans le navigateur va rediriger la requete vers sitemap.php qui génère à la volée le fichier xml de facon dynamique. Il n'y a aucun fichier physique nulle part, aucune compression.

Arrive l'évolution du mod google sitemap, qui est censée proposer des sitemap compressées en gzip car google sait télécharger un fichier sitemap.xml.gz, le décompresser puis l'analyser, plutot que d'avoir tout de suite le fichier décompressé.
La nouvelle version du mod google sitemaps est aussi censée proposer un systeme de mise en cache de la sitemap.

Voila les bases sont posées.

A partir de la, ce que je n'ai toujours pas saisi, c'est pourquoi quand je lance -http://www.phpbb-seo.com/google_sitemapindex.xml.gz dans mon navigateur cela m'affiche une page. Cette page est en fait un fichier xml traité par la feuille xsl qui le rend "joli".

Or moi, d'apres ce que j'ai compris de ce que devais faire la nouvelle version du mod google sitemaps, appeler cette url devrait envoyer un fichier gzip physique ou généré a la volée.

En toute logique, il devrait toujours s'agir d'un fichier physique : soit le fichier physique sitemap.xml.gz qui est dans le cache du mod google sitemap est encore "valide" (pas périmé) auquel cas on l'envoi, ou alors le fichier doit au préalable etre regénéré, ce que l'on fait, et on envoie ensuite cette version a jour. S'il n'y a pas de systeme de cache, ok, on génère a la volée, mais cela reste un fichier sitemap.xml.gz qui ne peut en aucun cas donner lieu a un affichage dans le navigateur (il est compressé !).

Voila ce que j'ai compris de comment devait pour moi fonctionner le futur google sitemaps. A priori j'ai pas tout saisi.

[dcz]

Merci de prendre le temps de répondre en détail, cela va aider à clarifier deux ou trois trucs en cette fin de développement.

Pour le gun_zip, et bien, c'est tout comme tu dis, sauf que c'est pas du zip, et les navigateurs sont donc capable de le décompresser à la volée, que ce soit parce que le header d'une page dynamique leur ait indiqué, ce qu'il se passe si on affiche une page du module, ou parce que l'extension .gz (pas zip) se trouve à la fin d'un nom de fichier physique.

A propos de -http://www.phpbb-seo.com/google_sitemapindex.xml.gz, la page est jolie à cause de cette ligne dans le code source :