Le moteur de recherche

Principe

Il y a deux grandes façons de faire un moteur de recherche. La première est de chercher tout bêtement dans le type de stockage existant (fichiers HTML, base de données... selon le type de site). Cette méthode est très lente car le type de stockage n’est pas prévu à cet effet.

La seconde méthode, qui a été choisie pour SPIP (et qui est aussi celle de tous les moteurs professionnels), est d’établir un mode de stockage spécifique aux besoins de la recherche. Par exemple, le score de chaque mots d’un article peut être stocké directement afin d’être facilement retrouvé, et d’avoir le score total d’une recherche par une simple addition. L’avantage est que la recherche est très rapide : presque aussi rapide que n’importe quel calcul de page. L’inconvénient est qu’il faut une phase de construction du dit stockage des informations : cela s’appelle l’indexation. L’indexation a un coût en termes de ressources (temps de calcul et espace disque), et elle introduit également un léger décalage temporel entre l’ajout ou la modification d’un contenu, et la répercussion de cet ajout ou de cette modification sur les résultats de recherche.

D’autre part, dans le cas de SPIP, nous sommes obligés d’utiliser PHP et MySQL comme pour le reste du logiciel, ce qui ne permet pas de réaliser un moteur très performant. C’est pourquoi le moteur est désactivé par défaut : il risque de ralentir quelque peu votre site (voir plus loin au chapitre performances pour des indications plus précises), et il sera avantageusement remplacé par un vrai moteur si vous avez la possibilité d’en installer un (si oui, vous pouvez par exemple utiliser ht ://Dig, un moteur en logiciel libre).

L’indexation

L’indexation est réalisée selon deux modalités différentes :

1. Si un contenu (article, brève...) est publié ou modifié depuis l’espace privé, alors il est réindexé immédiatement afin de tenir les données à jour.

2. Lors de la visite d’un contenu dans le site public, ce contenu est réindexé uniquement s’il n’a pas déjà été indexé. Pour être plus précis (mais ça ne change rien au principe général), SPIP attend qu’une page soit affichée en utilisant le cache, afin d’éviter que le cumul d’une indexation et d’un calcul de page ne mène à un timeout sur les serveurs particulièrement lents.

Le deuxième cas est là pour assurer que, si vous activez le moteur de recherche sur un site déjà rempli, les anciens contenus seront également pris en compte par le moteur ; de même si vous restaurez une sauvegarde (les données d’indexation ne sont pas incluses dans les sauvegardes pour des raisons d’espace disque).

L’indexation traite un à un les différentes données textuelles d’un contenu donné : par exemple, pour un article, le chapo, le descriptif, le titre, le texte... Pour chaque donnée textuelle, le score de chaque mot est calculé en comptant simplement le nombre d’occurences. A cet effet, les mots de trois caractères ou moins sont ignorés (ils sont, pour la plupart, non significatifs, et alourdiraient la base de données) ; d’autre part, les caractères accentués sont convertis en leurs équivalents non-accentués, pour éviter les problèmes de jeux de caractères et aussi pour permettre d’effectuer des recherches en version non accentuée (en cas de clavier inadapté...). Ensuite, les scores de chaque mot sont cumulés, de façon pondérée, entre les différentes données textuelles du contenu indexé. La pondération permet, par exemple, de donner plus de poids aux mots présents dans le titre d’un article que dans le corps du texte ou le post-scriptum...

Les fonctions d’indexation peuvent être étudiées au sein du fichier ecrire/inc_index.php3.

Dans la version [SPIP 1.6], d’importantes modifications ont été apportées au comportement du moteur :
 meilleur comportement dans un environnement multilingue ;
 le tiret bas (underscore) n’est plus considéré comme un séparateur de mot, mais comme un caractère alphabétique (utile pour de la documentation informatique) ;
 les mots de deux lettres (et plus) ne contenant que des majuscules et des chiffres sont considérés comme des sigles, et sont indexés, ce qui supprime l’un des principaux inconvénients de la limitation de l’indexation aux mots de plus de 3 lettres (G8, CNT, ONU sont désormais indexés).

La recherche

La recherche s’effectue simplement en séparant le texte de recherche en ses différents mots ; le même filtre est appliqué que lors de l’indexation : suppression des mots de trois lettres ou moins, et conversion des caractères accentués. Pour chaque contenu recherché, le score des différents mots est ensuite récupéré puis additionné afin d’obtenir le score total. Enfin, les résultats sont en général affichés par ordre décroissant de score, c’est-à-dire de pertinence (mais cela est laissé à la volonté de la personne qui écrit les squelettes de mise en page).

Performances

Rapidité

Sur un serveur récent et pas trop chargé, l’indexation d’un texte long (plusieurs dizaines de milliers de caractères) prendra entre une et deux secondes : l’attente est presque imperceptible, comparée aux délais de chargement via le réseau. Les contenus courts sont indexés de façon quasi-instantanée. Bien sûr, ces affirmations doivent être modulées selon la taille du site. Un site vraiment très gros risque de voir les temps d’indexation s’allonger légèrement ; pour relativiser, signalons qu’uZine comporte, à la date d’écriture de ce texte, environ 400 articles et 400 brèves publiés, et que le moteur de recherche de SPIP ne donne aucun signe de faiblesse.

Par ailleurs, statistiquement, on peut considérer de façon approximative que chaque contenu ne sera indexé qu’une seule fois : compte tenu qu’il y a en général beaucoup plus de visites sur un site que de mises à jour de contenus, le surcroît de charge du serveur apparaît négligeable (sauf en cas de machine très lente).

Qualité

La qualité de l’indexation est plus faible que sous des moteurs de recherche professionnels. PHP étant un langage plutôt lent, la phase d’extraction des mots a dû être simplifiée au maximum pour que les temps d’indexation restent minimes. Par conséquent, les données d’indexation comportent quelques « déchets », c’est-à-dire des morceaux de texte qui ne correspondent pas à de « vrais » mots, mais ont été indexés comme tels (il s’agit souvent de contenus techniques comme des noms de fichiers, ou de passages à la ponctuation malmenée). L’exemple d’uZine (où l’on constate environ 2 % de tels « déchets ») nous laisse cependant penser que ces données sont quantité négligeable, d’autant qu’il y a peu de chance qu’elles déclenchent un résultat positif lors d’une recherche.

Quant à la recherche, elle est simplement additive : il n’y a pas d’opérateurs booléens, l’opérateur implicite étant grosso modo un « OU » logique. D’autre part, le fait que les mots de trois lettres ou moins soient ignorés peut vous gêner si vous avez des besoins spécifiques (beaucoup de sigles, d’abbréviations...).

Espace disque

MySQL n’étant pas spécialement conçu pour le stockage de données d’indexation, l’utilisation du moteur de recherche a tendance à faire beaucoup grossir l’espace disque utilisé par la base de données. Pour donner quelque précision, disons qu’un contenu génère des données d’indexation de taille comprise entre la taille du contenu et le double de celle-ci. Donc, si l’on fait abstraction des données ne donnant pas lieu à indexation (les forums par exemple), l’indexation fait entre doubler et tripler la place prise par la base de données. Cela peut être gênant si la place vous est très comptée.

Si jamais vous désactivez le moteur de recherche afin d’économiser de l’espace disque, n’oubliez pas ensuite d’effacer les données d’indexation (dans la page de sauvegarde/restauration de la base de données) afin de réellement libérer l’espace disque occupé par ces données.