Gamification for IR: The Query Aspects Game

Résumé En It

The creation of a labelled dataset for Information Retrieval (IR) purposes is a costly process. For this reason, a mix of crowdsourcing and active learning approaches have been proposed in the literature in order to assess the relevance of documents of a collection given a particular query at an affordable cost. In this paper, we present the design of the gamification of this interactive process that draws inspiration from recent works in the area of gamification for IR. In particular, we focus on three main points: i) we want to create a set of relevance judgements with the least effort by human assessors, ii) we use interactive search interfaces that use game mechanics, iii) we use Natural Language Processing (NLP) to collect different aspects of a query.

La creazione di una collezione sperimentale per l’Information Retrieval (IR) è un processo costoso sia dal punto di vista economico che in termini di sforzo umano. Per ridurre i costi legati all’attribuzione dei giudizi di rilevanza ai documenti di una collezione, sono stati proposti approcci che integrano tecniche di crowdsourcing e active learning. In questo paper viene presentata un’idea basata sull’utilizzo della gamification (‘ludicizzazione’) in IR per l’attribuzione di giudizi di rilevanza in maniera semi-automatica. In particolare, ci focalizzeremo su tre aspetti principali: i) si vuole creare una collezione in modo che l’assegnazione dei giudizi da parte dei valutatori richieda il minor sforzo possibile, ii) per mezzo di un’interfaccia che utilizza dinamiche di gioco iii) insieme a tecniche di NLP per la riformulazione della query.