optimisation fonction Search phpBB et métas Keywords

[gowap]

Bien que mon message ne soit pas directement lié a l'outil en lui meme, je me permet de me greffer sur cette discussion (au besoin, une division de sujet est vite effectuée).

Tout d'abord un peu de "3615 mavie" :
A l'époque, après avoir installé le rewriting de webmedic, j'avais également mis en place le dynamic keywords qui allait avec. Evidemment, je teste la bete, et en regardant la source je tombe sur des mots clés du style :

Code: Tout sélectionner

<meta name="keywords" content="lecture,conseils,viter,trouver,terminent,temps,table,sorienter,situation,sereinement,questions,quenter,publi,prendre,premi,ponses,pondez,permettent,permet,notamment">

On voit nettement le probleme :"viter" est en fait le mot "éviter", il manque l'apostrophe dans "sorienter", "quenter" = fréquenter, "publi" = publiée, etc.
Sur le coup, ca ne me choque pas plus que ca et je ne cherche pas plus loin, car dans mes souvenirs (ie quelques passages en table via phpmyadmin + réparation/reconstruction d'une des tables de recherche lors d'un crash ) j'avais vu que les mots stockés avaient la facheuse habitude d'etre expurgés des lettres accentuées et des apostrophes. Evidemment, je me dis que c'est pas top, mais décide de le laisser en place.

J'avais un peu oublié cette histoire, je comptais néanmoins virer les dynamic meta tags lors du changement de rewriting (passage de webmedic au mod phpbb-seo avancé, ce que je n'ai pas encore eut le temps de faire) et c'est en revenant aujourd'hui sur phpbb-seo et en découvrant les 2 topics consacrés que je me décide a jeter a nouveau un coup d'oeil.

La, je découvre avec stupeur, qu'il y a des topics ou les meta keywords sont très bien orthographiés, que ce soit au niveau des accents et des apostrophes. Je fonce donc en table search_wordlist et je constate :
- les premiers mots stockés ont une sale tete (cf ce que j'expose plus haut)
- les derniers mots stockés par le systeme ont ce qu'il faut (apostophes accents) mais pas tous. J'ai des mots récents intégrés qui sont : latérissage, quespériezvous, sabîmer, sétouffer etc. ou il manque donc l'apostrophe
- sur une numérotation des mots de 1 a 304 000, le premier mot avec accent arrive en position 49000 et le premier avec apostrophe vers 85000.

J'en conclue bien vite que la fonction de recherche, enfin l'enregistrement des mots a évolué au fur et a mesure des versions de phpbb (de mon coté, je n'ai jamais touché a ce code) et que certains caractères non pris en compte au début l'ont été par la suite. Ceci dit a priori il manque toujours encore une gestion correcte des apostophes.

J'aimerais savoir si vous constatez les memes soucis.
Vu l'importances des balises meta keywords aujourd'hui, si en plus j'y balance des mots a l'orthographe incorrecte, autant ne rien mettre du tout.
Et je ne me vois pas trop réindexer 162000 messages. Déja je ne pourrais pas le faire en live, faudra faire ca en local et réinjecter ensuite + encore faire en live ce qui aura été posté entre le moment ou je fais mon extraction pour bosser en local et le moment ou je réinjecte en table la nouvelle version.
Bref, un travail titanesque

En tous cas, avec de telles données en table, l'intéret de faire du keyword dynamique est légèrement plombé, meme si les mots indexés ont l'air d'avoir de plus en plus une orthographe correcte. Si vous avez un forum installé depuis longtemps, il convient de veiller a la qualité des mots répertoriés dans la base de donnée.

[cobra220684]

si j'ai ien compris ton soucis tu voudrais pouvoir reconstruire les tables search_wordlist , search_wordmatch et search_results. Si c'est le cas tu as un mod qui te permet de faire ca c'est le mod Rebuild Search de chatasos.

Il te reconstruit les tables a la volé et comme ca bye bye tes problème d'accent

[gowap]

Mon souci premier n'est pas de reconstruire les tables de recherches mais de savoir si les mots stockés par phpBB sont également "inexacts" chez les autres que moi.

Comme je l'ai expliqué, meme aujourd'hui, des posts fait sur la version 2.0.21 sont indexés via des mots sans apostrophes (latérissage, quespériezvous, sabîmer, sétouffer etc.). Tant que j'ai des mots comme ca qui sont indexés, inutile de reconstruire les tables de recherches, au mieux j'aurai enfin les accents partout (ce qui semble marcher par rapport aux toutes premieres versions de phpBB).
Et comme je le précise, meme avec le mod rebuild search, réindexer 162 000 messages ce n'est pas du tout neutre comme travail.

J'invite donc chacun a faire un petit tour en table search_wordlist et a regarder la tete des mots indexés, pour voir s'ils ont des apostrophes (et accents) partout ou non.

[dcz]

En fait, oui, j'ai remarqué que phpBB nous en faisait de toutes les couleurs, et ce n'est pas la versions, du moins ça le fait encore.

Personnellement , c'est les apostrophes qui sautent souvent, genre "l'apostrophe" peut apparaître comme "lapostrophe" (lol va falloir que je l'ajoute à la liste d'exclusion maintenant) dans les méta keywords.

Sans chercher plus avant, car comme tu le dis les métas keywords ne sont plus ce qu'elles étaient, je me suis pour l'instant contenté de lister dans le stop word un peut passivement des mots comme "jai" (et oui du coup c trois lettres) "davoir" etc ... qui apparaissaient dans mes méta keywords, et finalement il n'y en avait pas tant.
Je dis bien dans les méta keywords, pas dans les tables de recherches de phpBB.

Pour les accents, c'est plus aléatoire, et je me demande si tout bêtement, ce ne sont pas des fautes d'orthographes postées
Les accents sont bien la première chose que l'on met pas dans des messages de forum, dans des recherches aussi d'ailleurs

Pour approfondir, il faudra se pencher sur le fichier search_synonyms.txt, situé au même endroit que search_stopwords.txt, je ne l'ai pas fait car je me suis jamais dit qu'il fallait trop en faire pour des méta keywords, mais à première vue il liste justement ce genre de choses :

calender calendar

Par exemple, dans le code de celui fournit par défaut.

Du coup il doit être possible de se servir des ces listes aussi, à creuser.

Maintenant, pour répondre aux deux questions que tu soulèves, je dirais tout d'abord que oui, les méta keywords ne sont plus très utiles, mais cela ne dit rien des métas en générale, pas que keywords.
En fait avoir des métas (principalement description) différentes et personnalisées pour chaque pages d'un site est une condition du bon référencement d'un site, car il est très clair que tout un site avec la même méta, ou pas de méta sera moins bien vu, au moins par certains moteurs de recherches.

La méta description est souvent reprise en résumé de la page dans les résultats des moteurs de recherche, rien que pour cela ...
Donc avoir de belles métas est important, c'est certain.

Plus précisément à propos des méta keywords, je pense que si cela n'as pas d'effets notoire sur une page spécifique, il peut en être différent pour toutes les pages d'un site.
Explication : comme le système est basé sur le poids des mots employés et donc sur le champs lexicale pondéré (mots les plus populaires) du site, et qu'un site, d'autant plus un forum, se doit un minimum d'avoir un ou des sujets de contenu, un style de vocabulaire employé et des mot-clés spécifiques, et que tout webmestre s'occupant de son référencement n'est pas avare de citer ses mot-clés dans ces pages, les mot-clés les plus importants (parce que les plus utilisés, ou au moins convenablement) sortiront en priorité.

Ce qui fait que de manière générale tes méta keywords ont des chances d'appuyer sur les mots les plus intéressants de ton forum et de les répéter souvent dans de nombreuses pages. Pas un gros plus mais certainement un peut plus de poids accordé à ton champs lexicale, de manière générale.
Je pense que c'est mieux que de ne rien avoir, que d'avoir toujours la même chose. De plus pour peux qu'il y ait une sorte de filtre de pertinence, du type ce mot est il dans la page, là, c'est du 100%, un bon début pour un peut de confiance

De la même manière, l'optimisation des tables de recherches de phpBB avec 162000 messages vaut d'autant plus le coup, car il y vraisemblablement matière à épuration si cela n'a jamais été fait.
Et le mod permet de ne traiter qu'un nombre déterminé de posts à la fois, en préparant bien ton coup, cela doit donc passer en plusieurs fois sur plusieurs jours, ou comme tu le proposes en local, mais il y a le problème des messages postés entre temps.
Je suis persuadé que tes tables de recherches seraient allégées de manière notable (d'autant plus avec le fix de giefca, tu n'imagines pas le nombre de mots de une et deux lettres ), ce qui est peut être plus important que la pertinence poussée des méta keywords.

Tu pourrais aussi te contenter de supprimer les entrées les plus gênantes sans tout reconstruire, là pas de problèmes avec 162 000 messages, tu ne travailles que sur les tables de recherches.

Ou, ne pas utiliser de méta keywords du tout, ou uniquement basés sur les titres des sujets par exemple, mais de tout de même utiliser les autres méta tags dynamiques.

++

[gowap]

Pour les accents, c'est plus aléatoire, et je me demande si tout bêtement, ce ne sont pas des fautes d'orthographes postées
Les accents sont bien la première chose que l'on met pas dans des messages de forum, dans des recherches aussi d'ailleurs

En ce qui me concerne, le probleme des accents n'est pas juste le fait d'oublis lors de la redactions des posts, car comme je l'ai écrit plus haut, j'ai quantité de mots stockés dans la base qui sont tronqués : "effac" pour effacé, "ponses" pour réponses (la c'est encore plus grave, vu que des syllabes complètes partent au lavage).
Ceci dit cela semble réglé pour les nouveaux mots (et depuis un certain temps deja) mais quantité de mot loufoques ont quand meme été consignés

De la même manière, l'optimisation des tables de recherches de phpBB avec 162000 messages vaut d'autant plus le coup, car il y vraisemblablement matière à épuration si cela n'a jamais été fait.
[...]
Je suis persuadé que tes tables de recherches seraient allégées de manière notable (d'autant plus avec le fix de giefca, tu n'imagines pas le nombre de mots de une et deux lettres ), ce qui est peut être plus important que la pertinence poussée des méta keywords.

Je me suis deja livré il y a certain temps a quelques aller retours avec la combinaison : listing des mots les plus utilisés --> mise en stopwords --> épuration des stopwords dans les tables. Cependant je n'ai pas appliqué le correctif de Giefca (alors que j'étais tombé dessus).
Si je regarde, j'ai aujourd'hui 875 "mots" de moins de 3 lettres (sur un total de 156 000 mots) ce qui represente 72 000 enregistrements (sur 3,5 Millions) dans wordmatch. Evidemment c'est toujours de trop, mais ca reste limité (par rapport au total).
Me décidant a virer ces déchets, je veux commencer par :

Code: Tout sélectionner

DELETE FROM phpbb_search_wordmatch WHERE phpbb_search_wordlist.word_id=phpbb_search_wordmatch.word_id AND length(phpbb_search_wordlist.word_text)<3

Avant de terminer par

Code: Tout sélectionner

DELETE FROM phpbb_search_wordlist WHERE length(phpbb_search_wordlist.word_text)<3

Le hic, c'est qu'avec la 1ere requete, il couine :

Code: Tout sélectionner

Unknown table 'phpbb_search_wordlist' in where clause

Et meme en rajoutant alors cette table dans la clause from, il continue de ne pas etre d'accord : You have an error in your sql syntax

Et le mod permet de ne traiter qu'un nombre déterminé de posts à la fois, en préparant bien ton coup, cela doit donc passer en plusieurs fois sur plusieurs jours, ou comme tu le proposes en local, mais il y a le problème des messages postés entre temps.

Disons que je préfère de loin le faire en local, cela evitera de surcharger le serveur en meme temps que des gens visiteront le forum et voudront poster (et il est de toute facon exclu de désactiver le forum pendant que la reconstruction se fasse). En travaillant en local, il me manquera l'indexation des derniers posts, mais ca, je pourrais toujours le faire en live, vu que le mod me permet de commencer au post_id que je veux. Il me suffira de regarder quel est le dernier post de ma sauvegarde qui aura été traitée en local.

Ce qui est gènant c'est que cette histoire d'apostrophe continuera meme apres la reconstruction. Vu qu'actuellement les apostrophes sont la une fois sur ...
Et placer les mots ou l'apostrophe n'a pas été prise en compte dans search_stopwords n'est pas une solution non plus. Evidemment cela empechera ces mots de sortir dans les meta keywords, mais du coup, ca bloquera aussi toute recherche.
Si a la base le mot "s'orienter" a été stocké sous la forme "sorienter" dans les tables, je me dit que lors d'une recherche c'est bien "sorienter" qui va etre cherché en base et si on a expurgé la table, la recherche ne donnera aucun résultat.

Edit : en lisant le fichier d'install du mod rebuild search, je suis tombé sur un bug lié a search_synonym, cf http://www.phpbb.com/bugs/viewreport.php?b=824 .
Ca m'a l'air d'etre une sacrée foire le systeme de recherche.

[dcz]

On devrait lancer un sujet sur la fonction de recherche de phpBB

Intéressant ton lien, il y a donc encore moyen de limiter la casse de la fonction de recherche. Parce que c'est clair que c'est pas Google

Pour tes doutes sur le fait de bloquer des mots comme "lautre" dans le stopword, et bien, je dirais qu'il y a vraisemblablement assez peut de recherches faite avec des apostrophes. Un simple avertissement suffit à avertir ceux qui croyaient que la fonction de recherche de phpBB était légère et pertinente sur de nombreux termes

Je pense qu'un bon vieux Google Search site sur des forums bien référencés et mille fois plus efficace dans tous les cas.

Et puis, si tu comptes faire tes modifs en local, alors pourquoi ne pas installer le mod du lien que tu as pointé, en travaillant du coup un peut le search_synonyms.txt (vais mettre à jour l'article sur l'optimisation des métas keywords du coup), le code de giefca et tout passer par la moulinette de rebuild search ?

Y'a moyen que ça aide bien je pense, et encore une fois, un ligne de texte pour dire pas d'apostrophe dans les recherche, ça gênera qui

[dcz]

Sujet Divisé donc

Ce sera plus pratique pour developper un peut.

++

[gowap]

Perso je n'utilise pas de search_synonym.txt, il me semble d'ailleurs qu'il n'y en a pas dans la version fr de phpbb-fr.com (je parle d'un vrai fichier en francais, pas d'une bete copie du fichier anglais qui ne sert a rien).

Sinon, je viens de benchmarker un peu en live.
Il estime le temps final a 13/14 heures.
Sachant que j'ai laissé en place le search_stopwords et que je peux donc encore aller plus vite, en faisant le rebuild sans le fichier stopwords, puis en le remettant en place et en épurant via les scripts.
Du coup je le ferais peut etre en live directement, plutot qu'en local.

[dcz]

Perso je n'utilise pas de search_synonym.txt, il me semble d'ailleurs qu'il n'y en a pas dans la version fr de phpbb-fr.com (je parle d'un vrai fichier en francais, pas d'une bete copie du fichier anglais qui ne sert a rien).

Justement, cela pourrait être pas mal de profiter de cette reconstruction des tables pour le prendre en compte, tu pourrais mettre des :

Code: Tout sélectionner

lautre autre

pour les mots avec apostrophe que tu voudrais conserver pour des recherches mais sortir "lautre" des tables. Pareil pour certaines conjugaisons ou certains pluriels.

Par exemple je pense que des trucs du type :

Code: Tout sélectionner

ranking ragerank

Pourraient aider à la pertinence des recherche sur phpBB SEO.

Après, c'est certain, cela ne vaut peut être pas trop le coup de trop peaufiner, il serait tout de même intéressant d'avoir des statistiques précises sur les fautes d'orthographes les plus fréquentes en langue française, et s'en servir un peut

13/14 heures, c'est long, tu penses gagner combien sans search_stopwords ?

[gowap]

Effectivement, cela peut etre interessant de faire enfin mumuse avec ce fichier synonym de la facon dont tu le présentes.

Par exemple je pense que des trucs du type :

Code: Tout sélectionner

ranking ragerank

Pourraient aider à la pertinence des recherche sur phpBB SEO.

C'est quoi le ragerank ? La rage pour avoir un bon pagerank

13/14 heures, c'est long, tu penses gagner combien sans search_stopwords ?

En enlevant stopwords, l'estimation passe à 8h au lieu de 14.
A noter que je suis la avec la fonction native de phpBB. Si je met le fix de Giefca ca risque de bouger un peu encore vu que la fonction de base utilise une seule regex et que giefca fait du implode/explode avec une boucle sur les mots et vérification de leur longueur. Bon, on parle a chaque fois de microsecondes, mais quand on additionne....
Le tout forum ouvert et non désactivé.

Sinon, quelqu'un a une idée pour les requetes SQL permettant de virer les mots de moins de 3 lettres (et pourquoi mysql couine sur l'exemple que je donne) ? Meme si je vais tout reconstruire (et virer l'existant tant qu'a faire) j'aimerais connaitre la requete sql qui irait bien.

[dcz]

Oué, PageRank lol.

Du coup faudra mettre un :

Code: Tout sélectionner

ragerank pagerank

Pour ton histoire de requête, il me semble que c'est pas bête d'utiliser un peut php pour ce genre de choses. Histoire de séparer en plusieurs fois.

Genre, boucler une sélection de 500 mots, les trier en php, avec un if qui efface les mots listés dans le stopword (et ceux de moins de 3 lettres) au fur et à mesure, un par un. Un petit sleep dans la boucle aussi pourquoi pas

Mais en une requête, je vois pas. Je ne suis malheureusement pas un gourou en SQL, mais je n'ai pas l'impression que tout cela puisse être fait en une requête.
Il me semble que ta première requête sous entend un SELECT, il me semble que phpbb_search_wordlist.word_id devrait être renseigné dans une autre (ou partie de la ) requête.
En plus tu veux supprimer toutes les entrées du mot, qui apparaît une fois par id de post, donc la encore faut un SELECT à mon avis.

C'est pour cela qu'un script ...

Faudrait voir celui là aussi. Il a peut être des options intéressantes. Pas essayé.

[gowap]

J'ai pas continué de m'agiter avec cette requete, et je sais bien que passer par un script va forcément fonctionner, mais une fois de plus, intellectuellement parlant ca ne me satisfait pas (et au niveau temps aussi, vu que je ne ponds pas de code php très vite)

Bon, j'ai un peu regardé le manuel mysql, il y a eut des améliorations entre la version 3.23 et la 4.x dans laquelle ont peut faire des DELETE sur plusieurs tables, ce qui n'est pas possible en 3.23. Donc sous 4.0 on devrait pouvoir épurer les 2 tables d'un seul coup. Comme je suis en 3.23, c'est pour ca que j'avais de toute facon commencé a regarder en faisant une table apres l'autre.
C'est l'enfance de l'art comme jointure. SI mysl est limité a ce point

Pour en revenir au probleme de fond :
phpBB 3 BETA 1 me donne une table wordlist avec (entre autres) :
dicone , nai , lautre, jaurais
marqué, corrigé (donc les accents c'est bon)

Ca promet...

[dcz]

Ahhh l'ami SQL

Et oui, Mysql 4 c'est mieux, mais c'est pas ORACLE.

Et pour phpBB 3, je suis en train de poser les bases du mod Rewrite future

phpBB SEO sera prêt

Par contre, va forcement y avoir du http 301, mais c'est un autre histoire dont on pourrait parler ailleurs d'ailleurs

++

[gowap]

Il semblerait que les seuls mots avec apostrophes stockés dans les tables soit des mots ou l'apostrophe utilisée n'est pas l'apostrophe normale telle qu'on l'obtient en rédigeant dans le cadre du forum.

Ca doit etre une apostrophe qu'on obtient par exemple quand on tape son texte dans word, et qu'on fait ensuite un copier coller. L'apostrophe normale est "droite", l'autre (celle indexée) est "courbe", cf :

L’autorégulation, les règles de bonnes conduites, l’internaute moyen s’en fiche pas mal

ascii("’") = 146
ascii("'") = 39

[dcz]

Oui, tout à fait, j'avais remarqué.

A l'époque c'était pour virer les ascii("’") = 146 que je m'y était intéressé.

Il me semble qu'il y a du coup moyen de ne par exemple décider d'utiliser que des ascii("’") = 146, avec un petit str_replace("'","’",$texte_message) à un moment du processus de post.

Faudrait certainement modifier un petit peut le fonction de recherche, au moins vérifier qu'on peut chercher un mot avec apostrophe classique "'".

Mais encore une fois je vois pas trop l'intérêt de trop vouloir en faire avec la fonction de recherche de phpBB, Google fait tellement mieux, et sans encombrer no serveurs en plus, un phpdig, je dirais pas, mais là on se bat pour des meta keyword avec guillemets et des recherches possible "l'autre".

T'as jeter un oeil à Prune Searchs Tables v0.0.1 ? Peut être qu'il fait moins lourd que rebuild search, je regarderais un de ces 4.

++