La construction des échantillons dans la conception ergonomique de produits logiciels pour le grand public. Quel quantitatif pour les études qualitatives ?

Résumé Fr En

L’objectif de ce texte est de favoriser l’intégration des utilisateurs directs dans les différentes étapes du cycle de conception : recueil des besoins, spécifications, évaluations (maquette, prototype, livraison finale). Cette intégration suppose en particulier de pouvoir limiter les tailles d’échantillons et de représenter la diversité des situations dans un petit nombre de tests. Or d’après Nielsen, 80 % des recueils d’une évaluation peuvent être fournis par 6 personnes si le test concerne un profil, et 3-4 personnes par groupe si le test concerne plusieurs groupes. Ces résultats sont discutés et précisés sur la base d’un exemple : la conception de logiciels d’aide pour les voyageurs des transports publics. L’étude souligne que l’analyse ne se limite pas aux problèmes et aux incidents ; elle concerne aussi le déroulement des stratégies et les remarques positives. D’autre part, le nombre de personnes nécessaires n’est pas lié uniquement aux critères descriptifs de la population. Il dépend également du type de produit testé, du nombre de fonctions et des conditions de recueils : les situations dynamiques et proches du réel, permettent de mieux situer l’action et apportent plus d’informations que les présentations statiques ou les situations de simulation. La notion d’échantillon doit donc être élargie de la population aux différentes dimensions des situations (contextes, tâches, outils…). Les scénarios de test doivent couvrir les combinaisons correspondantes. Par exemple, si N personnes testent T tâches dans C contextes, il y a N × T × C situations de tests. Un nombre limité de personnes permet alors de tester un nombre important de situations et d’obtenir des recueils représentatifs, variés et pertinents.

The aim of this article is to facilitate the participation of direct users in the different steps of the design process, namely the investigation of needs, specifications and evaluations (of models, prototypes, and final versions). Such a study needs to limit the size of samples and take into account the variety of situations through a small number of tests. According to Nielsen, 80% of problems can be identified through an evaluation of six people if the test deals with one profile and by three or four people per group if the test deals with several groups. The design of software assistance for public transport users is used as an example for discussion. The study highlights that the analysis is concerned with more than just problems and incidents; it also deals with the evolution of strategies, and provides positive feedback. Moreover, the number of required testers does not only depend on the descriptive criteria of the population. It also depends on the types of products, the number of functions and the context of investigations: dynamic and realistic situations allow one to situate the action better and to output more results than static presentations or simulations. Thus, the idea of a sample is to be extended from the population towards the various aspects of the situations (such as contexts, tasks and tools). The test scenarios have to include each corresponding combination. For example, if N participants test T tasks within C different contexts, one gets N × T × C test situations. Thus, only a few people are required to test a vast number of situations and obtain a great deal of representative and relevant information (such as needs and evaluations).