Rechercher dans ce blog

03 mars 2006

Comparatif des moteurs majeurs : «Et le gagnant est...»

Une évaluation à été réalisée en décembre 2005 par Jean Veronis de l'université de Marseille-Aix en Provence sur plusieurs moteurs de recherche. Le dernier volet de l’étude (sans doute le plus intéressant) concerne le classement des différents moteurs en fonction de la pertinence – du moins de la pertinence telle qu’elle peut être perçue par un panel d’utilisateurs.

Les moteurs choisis sont trois moteurs américains, Google, Yahoo et MSN, ainsi que trois moteurs français, Exalead, Voilà (développé par France Telecom et offert sur le portail Wanadoo) et Dir.com du groupe Iliad. D’autres moteurs, tels que MozDex ou AskJeeves, n’ont pas été retenus car ils n’offraient pas de version francophone (ou seulement une version bêta dans le cas de AskJeeves).

Quatorze thèmes ont été retenus de façon à refléter une grande variété d’utilisations (Actualités, Animaux, Cinéma, etc.). Chaque thème a été attribué à un étudiant différent, qui choisissait librement cinq requêtes. Le format (avec ou sans guillemets, en un seul ou plusieurs mots) était également totalement libre. Chaque résultats a ensuite été noté. Le classement obtenu est le suivant :


Google et Yahoo arrivent en tête ex æquo, avec une note de 2,3, mais le résultat sans doute le plus frappant est le degré de satisfaction très médiocre des utilisateurs. Aucun des moteurs n’atteint la moyenne (2,5 sur 5) et les notes peuvent même être extrêmement faibles (1,2 pour Voilà). Les liens notés 0 (c’est-à-dire totalement inutiles) sont étonnamment nombreux: 53,1 % pour Voilà, mais même les meilleurs ne font pas vraiment mieux: 28,6 % pour Google et 27,7 % pour Yahoo. A l’inverse, les résultats notés 5 (excellent) n’atteignent même pas 16 % pour les deux meilleurs moteurs.

Même en restreignant l’étude à la première position dans l’écran de résultats (le lien le plus cliqué par les utilisateurs), les performances sont à peine meilleures: Google et Yahoo dépassent à peine la moyenne avec 2,9 et 2,8 respectivement. Curieusement, les performances de Voilà sont moins bonnes sur le premier lien non marqué comme sponsorisé, puisque sa note y atteint seulement 0,5.
Plus d'infos sur le blog (l'étude y est téléchargeable gratuuitement en ligne au format PDF) de Jean Veronis : Technologies du langage

Aucun commentaire: