Questionnaire Pretesting Methods

Résumé Fr En

Depuis 20 ans, il y a eu un accroissement significatif dans l’utilisation de formes nouvelles de pré-tests de questionnaires. Diverses techniques d’évaluations ont été utilisées pour signaler les points forts et faibles de ces méthodes. Des études limitées ont été faites sur l’efficacité des interviews cognitifs dans la résolution des problèmes de questionnaire. Mais ces études n’ont pas distingué les effets des méthodes des effets de l’organisation. L’objectif de cette recherche est de déterminer comment des méthodes diverses utilisées par trois instituts d’enquête par questionnaire (U.S. Census Bureau, Westat Inc. et Research Triangle Institute) arrivent à prédire les problèmes. Pour cette recherche, plusieurs chercheurs dans chacun des instituts ont utilisé trois méthodes de pré-test (revue informelle par experts, un système formel d’évaluation cognitive, et l’interview cognitif) sur trois questionnaires dans une expérience tridimensionnelle de tris multiples. Une classification est faite des problèmes identifiés par les méthodes et ces problèmes sont comparés les uns aux autres. Nous calculons le degré d’accord entre les instituts et entre les méthodes. Nous concluons sur l’utilité et l’adéquation de chaque méthode, et le degré d’accord et le caractère systématique de ces résultats.

During the past 20 years there has been a significant increase in the use of novel forms of questionnaire pretesting. Various evaluation techniques have been evaluated and the strengths and weaknesses identified. Limited research has been conducted about the effectiveness of cognitive interviews in ameliorating questionnaire problems. However, this research has not allowed for separating effects of pretesting method from effects of the organization applying these methods. The objective of our research was to determine how various methods, applied across three survey research organizations (The Census Bureau, Westat, Inc., and Research Triangle Institute), were found to predict problems. For this research, multiple researchers within each organization applied three pretesting methods (informal expert review, a formal cognitive appraisal system, and cognitive interviewing) to three questionnaires, according to a Latin Square-based experimental design. A classification scheme was developed to code problems identified through all methods. The problems detected by each pretesting method and organization were quantitatively compared. We will present results about the degree of agreement between organizations and between methods. We will make conclusions about the utility and appropriateness of each method, and the degree to which the results are common and systematic, as opposed to haphazard and organization-specific.