Computer Assisted Pretesting of CATI Questionnaires (CAPTIQ)

Résumé Fr En

Prétests assistés par ordinateur des questionnaires CATI : Des prétests par observation ou des prétests standards de questionnaires CATI sont problématiques puisque l’enregistrement du comportement observé du répondant doit être fait soit pendant l’entretien, soit après en remplissant des formulaires d’observation. L’enregistrement pendant l’entretien peut être une tâche lourde pour l’intervieweur qui essaie de mener correctement l’entretien. L’enregistrement après l’entretien introduit le problème de la fiabilité. Dans cet article, l’auteur présente une méthode Prétest Assisté par Ordinateur de Questionnaires d’Entretien Téléphonique (Computer-Assisted Pretesting of Telephone Interview Questionnaires ou CAPTIQ) qui permet le codage du comportement du répondant pendant l’entretien sans surcharger l’intervieweur qui peut faire ce travail sans interrompre la continuité de l’entretien. Les données prétests recueillies par CAPTIQ pour chaque question et chaque répondant peuvent être considérées  comme des données longitudinales représentées par un graphique appelé un IPD (Interview Process Graph). Comme un électrocardiogramme, un IPD révèle les zones problématiques lors de l’entretien. Il en résulte des informations recueillies sur les problèmes d’échelles de réponses et sur le processus d’apprentissage initialisé par les répondants lors de la passation du questionnaire. Les problèmes de compréhension associés aux questions apparaissent comme des oscillations dans l’IPG. L’article décrit la méthode CAPTIQ et présente une utilisation d’un IPG dans l’évaluation d’un questionnaire CATI pour une enquête nationale sur le santé et sur l’utilisation des médias.

Observational pretesting or standard pretesting of CATI-questionnaires is problematic because the recording of observed respondent behavior has either to be carried out during the interview itself or after completion of the interview by filling out observation forms. Recording during the interview often places a heavy additional burden on the interviewer above and beyond conducting the interview correctly. Recording after the interview introduces the problem of reliability. In this paper, we present a method for Computer-Assisted Pretesting of Telephone Interview Questionnaires (CAPTIQ) which allows respondents’ behavior to be coded during the interview without overburdening the interviewer. The interviewers are able to code without interrupting the flow of the interview. The pretest data collected by CAPTIQ for each question and each respondent may be seen as longitudinal data which can be represented by a graph called an IPD (Interview Process Graph). The IPG, much like an electrocardiogram, reveals any problem zones occurying during the interview. As a result, information is collected on problems concerning response scales and on the learning process initiated by the respondents going through item batteries. Comprehension difficulties related to question wording or other factors also manifest themselves as oscillations of the IPG. The paper describes the CAPTIQ method and presents an illustration of the IPG by evaluating a CATI questionnaire used for a nationwide survey of health and media use.