Optimisation des méta keywords de phpBB :

Nous allons Optimiser les méta keywords de phpBB obtenues avec le mod Meta Tags Dynamiques phpBB SEO, que vous devez donc installer avant d'appliquer ce qui suit, tout en optimisant les tables de recherche de phpBB.

Avertissement :

La méthode présentée ici est destinée à un public averti, ayant une bonne connaissance du fonctionnement de phpBB.
Sur de gros forums, la modification ou la reconstruction des tables de recherche de phpBB peut prendre pas mal de temps, il vous faudra donc bien vous préparer avant de passer à l'action et choisir le meilleur moment pour vous lancer.
Car vous devrez de préférence désactiver votre forum durant la procédure.
D'un autre coté, il est bon de s'occuper de ses tables de recherche pour de meilleures performances. Dans tous les cas, des tests en local vous éviterons bien des soucis, une sauvegarde complète de votre site et de votre base de donnée bien plus encore.

Sommaire :

1. Principes
   
   
2. Procédure

La version Anglaise de cet article est ici.

Principes

A chaque nouveau message, phpBB compte tous les mots de celui-ci, les compare avec ceux déjà présents dans la base de donnée, et le cas échéant crée de nouvelles entrées ou augmente le compte du mot (somme de ses occurrences dans tous les messages du forum).
La fonction qui génère les méta keywords récupère les mots du messages qui ont le plus de poids dans les tables de recherche de phpBB.

Un filtre limite cependant les mots pris en compte. Il utilise les fichiers search_stopwords.txt normalement situés dans chaque dossier langue. Ce fichier contient simplement une liste des mots à ne pas prendre en compte pour les recherches par phpBB, un mot par ligne, sans espaces à la fin.
Les mots de cette liste n'apparaîtront pas dans les tables de recherche de phpBB et ne seront donc pas "recherchables" sur votre forum.

Un nombre important de mots, tels que "je", "il", "bonjour", "vous" etc ... s'avèrent tout à fait inutiles tant pour la qualité des recherches possibles sur votre forum que pour la pertinence des méta keywords.
De plus, comme ils sont vraisemblablement beaucoup utilisés, ils alourdissent vos tables de recherches et donc votre forum, car ces tables ont une fâcheuse tendance à devenir très vite énormes.

En éliminant les mots inutiles tant à votre référencement qu'aux recherches possible sur votre forum, vous faites d'une pierre trois coup :


• Les métas keywords seront plus précises (beaucoup);
  
• Votre système de recherche sera plus rapide car il ne s'encombrera plus de recherches sur des termes inutiles;
• L'affichage et le postage seront optimisés sur votre forum.
C'est un peu long à faire, mais ça vaut le coup.
Vous devrez impérativement sauvegarder votre site et votre base de donnée avant de modifier les tables de recherche, et éviter de reconstruire ou modifier vos tables de recherche quand votre site est fréquenté.
Il est conseillé de désactiver le forum pendant l'exécution des scripts.

Procédure

Le problème numéro un, c'est que, les listes fournies par défaut dans les fichiers search_stopwords.txt, si tant est qu'il y en ait un, ne sont pas satisfaisantes, et de plus, le code de la fonction search qui doit normalement éviter de prendre en compte les mots de moins de trois lettres ne marche pas vraiment.
A la longue les tables de recherche contiendront une majorité de mots inutiles si on ne fait rien.

On pourrait penser qu'un certain nombre de mots de 2 lettres sont intéressants pour le référencement et les recherches sur votre forum, mais cela a des inconvénients.
Vous devrez alors également prendre en compte les mots de une et deux lettres dans vos search_stopwords.txt et il sera très difficile de tous les éviter. Les quelques mot-clés auxquels vous penseriez vous coûteront également en performance alors que leur présence dans les méta keywords ne changera pas grand chose au Ranking de la page ni au fait que les moteurs de recherches seront toujours capable de réaliser tous types de recherches.
De plus, sur de gros forums, et bien référencés qui plus est, il est sage de mettre en avant les moteurs de recherches pour effectuer des recherches internes, les résultats seront de toute façon plus pertinents et vous économiserez des ressources serveur.

Voici comment vraiment limiter les mots pris en compte à trois lettres minimum :

Le fix de Giefca :


Code: Tout sélectionner

#
#--[ OUVRIR ]
#
includes/functions_search.php

#
#--[ CHERCHER ]
#
   if ( $mode == 'post' )
   {
      $entry = str_replace('*', ' ', $entry);

      // 'words' that consist of <3 or >20 characters are removed.
      $entry = preg_replace('/[ ]([\S]{1,2}|[\S]{21,})[ ]/',' ', $entry);
   }

#
#--[ REMPLACER PAR ]
#
// 3 letters fix by Giefca
   if ( $mode == 'post' )
   {
           $entry = str_replace('*', ' ', $entry);

           // 'words' that consist of <3 or >20 characters are removed.
           $split = explode(' ', $entry);
           $taille_split = sizeof($split);       
           for ($i = 0; $i < $taille_split; $i++)
           {
              $split[$i] = trim($split[$i]);
              if ((strlen($split[$i]) < 3) || (strlen($split[$i]) > 20))
              {
                 $split[$i] = '';
              }
           }
           $entry = implode(' ', $split);
     }
// 3 letters fix by Giefca





Notez que ceci ne retirera pas les mots de moins de trois lettres déjà présent dans vos tables de recherche, mais qu'aucun autre ne sera ajouté ou mis à jour après mise en place.

Il nous reste maintenant à déterminer quels mots devraient être retirés des tables de recherche.

Rendez vous sur votre phpMyAdmin et lancez cette commande sql :


Code: Tout sélectionner

SELECT ls.word_id, ls.word_text, COUNT(wm.word_id) as entries FROM `phpbb_search_wordlist` as ls LEFT JOIN `phpbb_search_wordmatch` as wm ON ls.word_id=wm.word_id GROUP BY wm.word_id ORDER BY entries DESC LIMIT 0,100




Elle vous renverra les 100 mot les plus répétés de votre forum.
Vous constaterez à ce moment à quel point vos tables de recherche sont polluées de mots inutiles aux recherches (sic).
L'idée est donc de voir parmi ces 100 mots les plus utilisés, et donc les plus susceptibles d'apparaître dans les méta keywords, quels sont ceux qui gagneraient à être évités.

Une fois que vous avez établis la liste des mots à éviter dans ce top 100, vous pouvez, si par exemple il n'y avait pratiquement que des mots à éviter dans les 100 premiers, lancer cette requête SQL :



Code: Tout sélectionner

SELECT ls.word_id, ls.word_text, COUNT(wm.word_id) as entries FROM `phpbb_search_wordlist` as ls LEFT JOIN `phpbb_search_wordmatch` as wm ON ls.word_id=wm.word_id GROUP BY wm.word_id ORDER BY entries DESC LIMIT 100,200




Elle renverra la suite de la liste, du 100 ème au 200 ème et vous permettra d'ajouter plus de mots à exclure, et ainsi de suite en modifiant cette partie de la requête :



Code: Tout sélectionner

LIMIT PREMIER_MOT,DERNIER_MOT




En évitant tout de même les trop grands intervalles illisibles et gourmands.
Pas non plus la peine d'aller jusqu'au top 1000, car la probabilité que des mots peut utilisés sur le forum sortent dans vos méta keywords est assez faible.

Il suffit ensuite d'ajouter ces mots à exclure dans le fichier search_stopwords.txt, un par ligne et sans espaces à la fin.

Notez qu'il doit y avoir un search_stopwords.txt par langue, vous devrez donc tous les éditer.
En fonction du nombre de langues et de la façon dont est géré votre forum, vous pouvez mettre les mots à exclure de chaque langue dans un unique search_stopwords.txt que vous copierez ensuite dans chaque dossier de langue; ou différencier chaque liste en créant un search_stopwords.txt différent par langue.
Mais dans ce cas il vaut tout de même mieux mettre les mots à exclure de toutes les langue dans le search_stopwords.txt de la langue par défaut du forum avant de les re-dispatcher une fois le nettoyage des tables de recherche réalisé. Ceci afin de ne pas avoir à répéter la procédure pour chaque search_stopwords.txt de chaque langue installée.

Ouvrez votre fichier search_stopwords.txt, situé dans votre dossier langue (\language\lang_french). S'il n'existe pas, créez le.
Si vous utilisez le code de Giefca pour ne pas prendre en compte les mots de moins de trois lettres, retirez, le cas échéant, tous les mots (et chiffres, car tout est traité comme du texte) de une et deux lettres, et ajoutez les mots que vous souhaitez exclure dans la liste.
Si non, vous devrez aussi prendre en compte les mots (et chiffres) de une et deux lettres à exclure.

Mieux vaut bien peaufiner sa liste de mot exclus de search_stopwords.txt, cela évitera d'avoir à reconstruire ou filtrer ses tables plus de fois que nécessaire.

Enfin, il nous faut mettre à jour les tables de recherche. Pour cela, deux solutions, Rebuild Search, qui va reconstruire totalement vos tables de recherche ou le scritp de cet article de phpBB.com.
La partie de l'article qui nous intéresse ici est la 4ème : Delete search_stopwords from your searchtables, le reste n'est pas à prendre en compte.

Rebuild Search est un peut plus lourd et prendra certainement plus de temps à être exécuté, mais il pourra aussi s'avérer fort utile dans la vie de votre forum, car les accidents de tables de recherche ne sont pas rares, et leur récupération depuis une sauvegarde difficile sur de gros forums.
De plus, si vous utiliser le patch pour les mots de une et deux lettres, il seront filtrés directement lors de la reconstruction des tables, car la méthode reproduit l'envoi du message.

Le script de phpBB.com est plus léger, plus simple à utiliser, il se contentera d'effacer les entrées en trop dans les tables de recherche. Si vous avez installé le code pour vraiment filtrer les mots de moins de trois lettres, vous devrez alors quand même les ajouter dans votre search_stopwords.txt avant l'exécution du script, et les retirer ensuite (car il ne seront de toutes façon plus ajoutés).

Une fois votre liste établie uploadez le nouveau search_stopwords.txt.
Attendez ensuite un moment calme pour exécuter le script choisit.
Lancez enfin la requête SQL du top 100 et appréciez la différence.

Il restera peut être quelques mots inutiles, parce qu'ils n'étaient pas précédemment dans le top 100 (ou 200 etc ...).
Qu'à cela ne tienne, mettez votre fichier search_stopwords.txt à jour et relancez le script.
Vous pouvez également vérifier les contenus de vos méta keywords pour voir si des mots clefs inutiles mais moins populaires ne seraient pas passés au travers.
Mettez a jour votre search_stopwords.txt en conséquence et vous aurez vite des méta keywords vraiment intéressantes.

Pour les gros forums, comme l'exécution du script peu quand même prendre pas mal de temps, essayez de limiter le nombre de cycles dans cette procédure en travaillant bien votre search_stopwords.txt au départ et en attendant d'avoir trouvé plusieurs nouveaux mauvais mots clefs avant de la relancer.
Encore une fois, faite cela à un moment ou votre site est peu visité pour ne pas refuser trop de monde

Rebuild Search possède pas mal d'options, je vous conseille donc les suivantes :


• Time limit : 25 c'est le timout d'exécution de votre serveur, généralement 30s, 25 pour plus de sécurité.
  
• Starting post_id : doit être à 0 pour une première utilisation ainsi que pour toutes les updates de search_stopwords.txt, autrement le mod recommence au dernier post non traité.
• Posts per cycle : 50, pas la peine de trop en mettre.
• Disable board : coché, cela évitera d'accepter un post pendant l'exécution du script, ce qui n'est pas censé être un problème dans l'exécution de ce mod, mais si c'est 100 nouveaux posts peut être alors ...

Pour ce qui est d'effacer ou non les tables de recherche avant de lancer le mod, je pense qu'il est utile de ne pas effacer les tables avant de les refaire uniquement si on effectue une partie seulement du traitement des messages.
Si non, autant les effacer, en ayant fait une sauvegarde avant bien entendu.

Lancez la procédure, au bout des 50 premiers posts traités, vous verrez son état d'avancement apparaître, jusqu'à ce que tout soit terminé.
Des screenshots du mod se trouvent ici.

Bonjour,

J'ai recréé mon fichier "search_stopwords.txt" en y ajoutant pas mal de mots, également fait la modif avec le "fix de Giefca", reconstruit totalement les tables avec "Rebuild Search".. de l'id 0 à la fin avec le delete.. il y a eu pas mal de mots inutiles supprimés, mais j'en ai encore bcp qui traînent.. j'ai fait la recherche sur les 200 premiers..


Questions :
- combien de fois faudrait-il passer pour tout nettoyer..
- si par mégarde, je mets 2 fois le même mot dans le fichier, peut-il y avoir problème..
et enfin, je retrouve évidemment tous les pseudos et les smileys.. faut-il aussi les mettre dans le fichier "search_stopwords.txt"..

Par avance, merci..

J.Cl. (HS fondu sous la chaleur)..

Et oui, il faut tout mettre, mais les pseudo, bon, c'est pas certain qu'il soient populaire au point de se retrouver dans les méta tag.

Un bon résultat est atteint, tant pour l'optimisation des tables de de recherche que pour la pertinence des méta keyword, quand justement elles deviennent pertinentes.

Car cela veut dire que les autre mots sont trop peut utilisés pour sortir.

Après, tu ne veux pas non plus rendre tout recherche impossible, car tous les mot retiré ne seront plus recherchable.

On pourrait pousser jusqu'à ne laisser que les mots qui nous intéressent et ne plus du tout utiliser la fonction de recherche pour autre chose que les méta, c'est possible avec un bon vieux Google search, pour peut que l'on soit convenablement référencé.
Mais je préfère personnellement conserver pas mal de mots, tant que les métas sont correctes, car la recherche de phpbb a pour unique avantage de rechercher dans tout le site, et pas que les parties publiques, même si les résultats sont pas forcement toujours très pertinent, c'est utile.

Et pas de souci pour les doublons, mais c'est mieux d'éviter. Importe le fichier txt dans un tableur type excel et hop, tu les classe et dédoublonnes avant de réexporter en txt

++

Ok, je n'avais pas pensé à excel pour les doublons.. d'après ce que tu me dis, je vais regarder les mots les plus pertinents.. mais il y comme mots "jai", "bientot", "bonjour" etc... ceux-là, je vais les retirer..
Une chose que je ne comprend pourquoi le 1er mot donné en exemple se trouve sous la forme "jai" alors qu'il correspondt à "j'ai".. et il en de même pour plusieurs mots.. voici une petite liste des 10 premiers mots..

Les 200 mots les plus utilisés (sur 117228)

jai (1141 occurrence(s) = 0.97% de la table)
photos (728 occurrence(s) = 0.62% de la table)
photo (671 occurrence(s) = 0.57% de la table)
bassin (409 occurrence(s) = 0.35% de la table)
clic (306 occurrence(s) = 0.26% de la table)
poissons (233 occurrence(s) = 0.20% de la table)
leau (231 occurrence(s) = 0.20% de la table)
nature (211 occurrence(s) = 0.18% de la table)
question (186 occurrence(s) = 0.16% de la table)
fleurs (182 occurrence(s) = 0.16% de la table)

J.Cl.

héhé, c'est phpBB ça, un vaste débat, et je crain que de résoudre ce porblème n'en vaille pas la chandelle, mais des petite feintes existent et on été débatuent sur ce sujet : optimisation fonction Search phpBB et métas Keywords

Comme quoi, les "Autres sujets de discussion" c'est pas si mal

++

Hello,

pour info, le lien de telechargement est obsolète mais j'en ai trouvé un pour une version du mod plus récente (rebuild search)
http://www.phpbb.com/phpBB/viewtopic.ph ... highlight=

Ensuite bon ben j'ai lancé le script, après avoir fermé le site pour que ça soit plus rapide (même si y'a pas gand monde a cette heure), et je remarque qu'il demarre doucement, prevoyant 1 Jour et 19 heures de travail LOL...

Bon en même temps il a 80800 posts à traiter

Finalement ces estimations sont recalculées et là ca se stabilise à...14 h et c'est presque du temps réel !
je pense que ça va bien mettre 14h en tout, et pas question de fermer le forum pendant ce temps ou d'empecher de poster non plus, surtout que demain c'est lundi et si c'est fermé je pourrais plus que sortir avec des gardes du corps, ils vont me hair

Je pense donc annuler avant le terme... j'attendrais demain matin très tôt...

En attendant moi je vais essayer de comprendre encore comment optimisr encore et encore les meta keywords et bien sur la finalité de tout ce projet, mon referencement !

Je voudrais juste savoir SI

1) après avoir annuler, je peux reprendre la suite du travail ?
2) sinon.. ou si oui, comment lui demander de traiter les posts par intervalles d'ID par exemple, genre du post 0 à 1000... puis de 1000 à 2000 etc etc... disons que si je peux decouper tout ça en 5 à 10 etapes c'est nickel...
Bon sinon je compte pas le recommencer trop souvent LOL.. je pensais pas que c'etait aussi lourd.

mellosmoothe a écrit:Hello,

pour info, le lien de telechargement est obsolète mais j'en ai trouvé un pour une version du mod plus récente (rebuild search)
http://www.phpbb.com/phpBB/viewtopic.ph ... highlight=

heu, je vois pas trop la différence

SeO a écrit:Enfin, il nous faut mettre à jour les tables de recherche. Pour cela, deux solutions, Rebuild Search, qui va reconstruire totalement vos tables de recherche ou le scritp de cet article de phpBB.com.

mellosmoothe a écrit:
Je voudrais juste savoir SI

1) après avoir annuler, je peux reprendre la suite du travail ?
2) sinon.. ou si oui, comment lui demander de traiter les posts par intervalles d'ID par exemple, genre du post 0 à 1000... puis de 1000 à 2000 etc etc... disons que si je peux decouper tout ça en 5 à 10 etapes c'est nickel...
Bon sinon je compte pas le recommencer trop souvent LOL.. je pensais pas que c'etait aussi lourd.

1) oui et 2) du coup pareil, tu peux mettre l'id du premier post à traiter ainsi que celle du dernier. Donc tu découpe le travail comme tu veux.
tu peux aussi travailler sur un backup en local et re-importer juste la table ensuite (update pas replace pour garder le traitement des dernier messages)

La lourdeur du procédé est certes importante pour de gros forums, mais le gain en terme de temps d'exécution est d'autant plus intéressant.
Travail bien ton search_stopwords.txt avant de te lancer, histoire de ne pas avoir à tout refaire.

++

merci pour les réponses...

bon finalement j'ai fait 7 8 heures la derniere fois... et la j'ai repris et il sait automatiquement ou il s'est arreté donc c'est nickel.

La je teste avec le forum en production et pas de gene apparente...

je pense avoir terminé demain matin.

Merci encore

Bonjour

Je suis en train de dresser un état des lieux avant l'allègement des tables.

J'ai donc entré la commande:

Code: Tout sélectionner

SELECT ls.word_id, ls.word_text, COUNT(wm.word_id) as entries FROM `phpbb_search_wordlist` as ls LEFT JOIN `phpbb_search_wordmatch` as wm ON ls.word_id=wm.word_id GROUP BY wm.word_id ORDER BY entries DESC LIMIT 0,100

Et il me répond que je n'ai que 37 mots dans ma table de recherche.

Je pulvérise les records de légèreté là, non?

Samedi soir nous avons changé de version de Mysql.
Nous sommes maintenant en MySQL - 4.0.25-standard-log.

Est ce que ça peut venir de là?

Je me demande bien d'où une telle légèreté peut provenir, possible que ce soit la migration mysql, mais j'en doute. Il faudrait vérifier le code de ton fichier includes/functions_search.php voir search.php (tu peux écraser avec des fichiers tout neuf si jamais aucun mod ne l'a modifier) avant de reconstruire les tables, histoire de s'assurer qu'elle grossissent bien comme il faut.

Question, peut tu effectuer des recherche sur des mots qui ne sorte pas dans cette liste de 37 ? Par ce que si c'est le cas, c'est qu'il y en a bien plus.

Vérifie la taille de ta table search_wordlist, et search_wordmatch, s'il y a plus de 37 entrées, c'est qu'il doit y avoir eu un problème avec ces tables.

Dans tous les cas, si après verif des deux fichiers que je t'ai indiqué, tu parviens à ajouter des mot dans cette liste (teste un post avec un mot qui n'a jamais été posté comme mlqksdhmlzkdhf et voit s'il apparaît dans les deux tables précédemment cités), alors la reconstruction des tes tables de recherche sera une bonne chose.
Juste travaille bien ton search_stopwords.txt avant de te lancer histoire de ne pas avoir à recommencer 50 fois

++

Question, peut tu effectuer des recherche sur des mots qui ne sorte pas dans cette liste de 37 ? Par ce que si c'est le cas, c'est qu'il y en a bien plus.

Oui. Les recherches sur les mots qui n'apparaissent pas dans cette liste aboutissent.

J' ai posté un mot exotique. La recherche à partir du forum trouve le post et met le mot en surbrillance mais aucun changement au niveau de la table: le mot n'y figure pas.

Je regarde les fichiers includes/functions_search.php et search.php et je te dis.

Et dans la table Mysql phpbb_search_wordmatch, tu as combien d'entrées ?

Le préfixe des tables est bien phpbb ?

J'ai
phpb_search_wordlist --> 38 enreg
phpb_search_wordmatch --> 46 enreg

mais j'ai aussi:
micro_search_wordlist --> 31243 enreg
micro_search-wordmatch --> 159724 enreg
Ca doit être celles là les bonnes, non?