optimisation fonction Search phpBB et métas Keywords

[gowap]

Bien que mon message ne soit pas directement lié a l'outil en lui meme, je me permet de me greffer sur cette discussion (au besoin, une division de sujet est vite effectuée).

Tout d'abord un peu de "3615 mavie" :
A l'époque, après avoir installé le rewriting de webmedic, j'avais également mis en place le dynamic keywords qui allait avec. Evidemment, je teste la bete, et en regardant la source je tombe sur des mots clés du style :

[cobra220684]

si j'ai ien compris ton soucis tu voudrais pouvoir reconstruire les tables search_wordlist , search_wordmatch et search_results. Si c'est le cas tu as un mod qui te permet de faire ca c'est le mod Rebuild Search de chatasos.

Il te reconstruit les tables a la volé et comme ca bye bye tes problème d'accent

[gowap]

Mon souci premier n'est pas de reconstruire les tables de recherches mais de savoir si les mots stockés par phpBB sont également "inexacts" chez les autres que moi.

Comme je l'ai expliqué, meme aujourd'hui, des posts fait sur la version 2.0.21 sont indexés via des mots sans apostrophes (latérissage, quespériezvous, sabîmer, sétouffer etc.). Tant que j'ai des mots comme ca qui sont indexés, inutile de reconstruire les tables de recherches, au mieux j'aurai enfin les accents partout (ce qui semble marcher par rapport aux toutes premieres versions de phpBB).
Et comme je le précise, meme avec le mod rebuild search, réindexer 162 000 messages ce n'est pas du tout neutre comme travail.

J'invite donc chacun a faire un petit tour en table search_wordlist et a regarder la tete des mots indexés, pour voir s'ils ont des apostrophes (et accents) partout ou non.

[dcz]

En fait, oui, j'ai remarqué que phpBB nous en faisait de toutes les couleurs, et ce n'est pas la versions, du moins ça le fait encore.

Personnellement , c'est les apostrophes qui sautent souvent, genre "l'apostrophe" peut apparaître comme "lapostrophe" (lol va falloir que je l'ajoute à la liste d'exclusion maintenant) dans les méta keywords.

Sans chercher plus avant, car comme tu le dis les métas keywords ne sont plus ce qu'elles étaient, je me suis pour l'instant contenté de lister dans le stop word un peut passivement des mots comme "jai" (et oui du coup c trois lettres) "davoir" etc ... qui apparaissaient dans mes méta keywords, et finalement il n'y en avait pas tant.
Je dis bien dans les méta keywords, pas dans les tables de recherches de phpBB.

Pour les accents, c'est plus aléatoire, et je me demande si tout bêtement, ce ne sont pas des fautes d'orthographes postées
Les accents sont bien la première chose que l'on met pas dans des messages de forum, dans des recherches aussi d'ailleurs

Pour approfondir, il faudra se pencher sur le fichier search_synonyms.txt, situé au même endroit que search_stopwords.txt, je ne l'ai pas fait car je me suis jamais dit qu'il fallait trop en faire pour des méta keywords, mais à première vue il liste justement ce genre de choses :

[gowap]

[dcz]

On devrait lancer un sujet sur la fonction de recherche de phpBB

Intéressant ton lien, il y a donc encore moyen de limiter la casse de la fonction de recherche. Parce que c'est clair que c'est pas Google

Pour tes doutes sur le fait de bloquer des mots comme "lautre" dans le stopword, et bien, je dirais qu'il y a vraisemblablement assez peut de recherches faite avec des apostrophes. Un simple avertissement suffit à avertir ceux qui croyaient que la fonction de recherche de phpBB était légère et pertinente sur de nombreux termes

Je pense qu'un bon vieux Google Search site sur des forums bien référencés et mille fois plus efficace dans tous les cas.

Et puis, si tu comptes faire tes modifs en local, alors pourquoi ne pas installer le mod du lien que tu as pointé, en travaillant du coup un peut le search_synonyms.txt (vais mettre à jour l'article sur l'optimisation des métas keywords du coup), le code de giefca et tout passer par la moulinette de rebuild search ?

Y'a moyen que ça aide bien je pense, et encore une fois, un ligne de texte pour dire pas d'apostrophe dans les recherche, ça gênera qui

[dcz]

Sujet Divisé donc

Ce sera plus pratique pour developper un peut.

++

[gowap]

Perso je n'utilise pas de search_synonym.txt, il me semble d'ailleurs qu'il n'y en a pas dans la version fr de phpbb-fr.com (je parle d'un vrai fichier en francais, pas d'une bete copie du fichier anglais qui ne sert a rien).

Sinon, je viens de benchmarker un peu en live.
Il estime le temps final a 13/14 heures.
Sachant que j'ai laissé en place le search_stopwords et que je peux donc encore aller plus vite, en faisant le rebuild sans le fichier stopwords, puis en le remettant en place et en épurant via les scripts.
Du coup je le ferais peut etre en live directement, plutot qu'en local.

[dcz]

[gowap]

Effectivement, cela peut etre interessant de faire enfin mumuse avec ce fichier synonym de la facon dont tu le présentes.

[dcz]

Oué, PageRank lol.

Du coup faudra mettre un :

[gowap]

J'ai pas continué de m'agiter avec cette requete, et je sais bien que passer par un script va forcément fonctionner, mais une fois de plus, intellectuellement parlant ca ne me satisfait pas (et au niveau temps aussi, vu que je ne ponds pas de code php très vite)

Bon, j'ai un peu regardé le manuel mysql, il y a eut des améliorations entre la version 3.23 et la 4.x dans laquelle ont peut faire des DELETE sur plusieurs tables, ce qui n'est pas possible en 3.23. Donc sous 4.0 on devrait pouvoir épurer les 2 tables d'un seul coup. Comme je suis en 3.23, c'est pour ca que j'avais de toute facon commencé a regarder en faisant une table apres l'autre.
C'est l'enfance de l'art comme jointure. SI mysl est limité a ce point

Pour en revenir au probleme de fond :
phpBB 3 BETA 1 me donne une table wordlist avec (entre autres) :
dicone , nai , lautre, jaurais
marqué, corrigé (donc les accents c'est bon)

Ca promet...

[dcz]

Ahhh l'ami SQL

Et oui, Mysql 4 c'est mieux, mais c'est pas ORACLE.

Et pour phpBB 3, je suis en train de poser les bases du mod Rewrite future

phpBB SEO sera prêt

Par contre, va forcement y avoir du http 301, mais c'est un autre histoire dont on pourrait parler ailleurs d'ailleurs

++

[gowap]

Il semblerait que les seuls mots avec apostrophes stockés dans les tables soit des mots ou l'apostrophe utilisée n'est pas l'apostrophe normale telle qu'on l'obtient en rédigeant dans le cadre du forum.

Ca doit etre une apostrophe qu'on obtient par exemple quand on tape son texte dans word, et qu'on fait ensuite un copier coller. L'apostrophe normale est "droite", l'autre (celle indexée) est "courbe", cf :

[dcz]

Oui, tout à fait, j'avais remarqué.

A l'époque c'était pour virer les ascii("’") = 146 que je m'y était intéressé.

Il me semble qu'il y a du coup moyen de ne par exemple décider d'utiliser que des ascii("’") = 146, avec un petit str_replace("'","’",$texte_message) à un moment du processus de post.

Faudrait certainement modifier un petit peut le fonction de recherche, au moins vérifier qu'on peut chercher un mot avec apostrophe classique "'".

Mais encore une fois je vois pas trop l'intérêt de trop vouloir en faire avec la fonction de recherche de phpBB, Google fait tellement mieux, et sans encombrer no serveurs en plus, un phpdig, je dirais pas, mais là on se bat pour des meta keyword avec guillemets et des recherches possible "l'autre".

T'as jeter un oeil à Prune Searchs Tables v0.0.1 ? Peut être qu'il fait moins lourd que rebuild search, je regarderais un de ces 4.

++