MOR : Mesure orientée rappel pour les systèmes de recherche d’information

Résumé Fr En

La majorité des métriques d’évaluation en recherche d’information donnent plus d’importance à la précision qu’au rappel, ce qui est cohérent avec certains contextes, comme la recherche sur internet, où les utilisateurs regardent uniquement les premiers documents apparaissant en début de la liste de résultats. Ces métriques d’évaluation ne sont pas capables de prédire à quel point l’utilisateur sera satisfait du système s’il cherche à trouver le maximum de documents pertinents, comme dans le cas de la recherche de brevets ou de la recherche dans un contexte médical. Dans cet article, nous définissons les besoins principaux pour évaluer et comparer des systèmes de recherche d’information dans un contexte orienté rappel. Nous montrons que les mesures précédemment proposées dans la littérature ne répondent pas à ces besoins, ce qui nous amène à proposer la mesure MOR qui permet de comparer correctement le rappel des systèmes de recherche d’information.

Recall oriented measure for information retrieval systemsMost evaluation metrics in Information Retrieval (IR) give more weight to precision, which is consistent within several contexts, such as web retrieval, where users check only few documents appearing at the beginning of the result lists. These metrics are not able to measure the satisfaction of the user in contexts where the IR system is supposed to find the maximum of relevant documents, which is the case of patent or medical retrieval. In this article, we define the basic elements that should be considered to evaluate and compare IR systems correctly in a recall-oriented context. We demonstrate that previous measures do not consider the totality of these elements. We propose MOR which is a recall oriented measure that allows the evaluation and the comparison of information retrieval systems in a recall context.