Differential item functioning detection with logistic regression

Résumé Fr En

La régression logistique a été utilisée comme une méthode d’identification du DIF dans différents contextes. Certaines études ont montré que cette procédure peut être affectée par des variables comme le ratio des tailles entre groupes, la taille de l’échantillon, et qu’elle semble liée avec les gammes de difficulté et la discrimination des items [Herrera, 2005 ; Santana 2009]. Nous avons fait une étude de simulation avec quatre variables indépendantes partiellement traversées qui ont abouti à 270 conditions et simulé 200 répliques pour chacune d’elles. La différence des McFadden R2 (R2∆) entre modèles a été utilisée comme une mesure de la taille de l’effet et comme variable dépendante afin de minimiser les taux de faux positifs et négatifs que le test statistique n’aurait pas été en mesure de contrôler. Nous avons utilisé des modèles linéaires pour définir les variables qui affectent les mesures de la taille de l’effet : R2∆ pour la détection des items avec du DIF uniforme (DRU) et R2∆ pour détecter les items avec du DIF non uniforme (DRN). Les résultats montrent que les variables manipulées et leurs interactions affectent de différentes manières le DRU et le DRN. Nous avons également obtenu des seuils pour les variables dépendantes, aussi bien pour DRU que pour DRN, pour plusieurs niveaux des variables en jeu.

Logistic regression has been used as a method for identifying differential item functioning (DIF) in different contexts. Some studies have shown that DIF detection through this procedure may be affected by variables such as sample size ratio, and sample size. It also seems related to specific item parameters like certain ranges of difficulty and discrimination [Herrera, 2005 ; Santana 2009]. We made a simulation study with four partially crossed independent variables which resulted in 270 conditions and simulated 200 replications for each experimental condition. McFadden’s distance R2 between models (R2∆) was used as an effect size measure and as a dependent variable in order to minimize type I and II errors that the statistical test would not have been able to control. We used linear models to define which variables affected the effect size measures : R2∆ for detecting items with uniform DIF (DRU) and for detecting items with non uniform DIF (DRN). The results show that manipulated variables and some of their interactions affect DRU and DRN differently. We also obtained cut-off points, both for DRU and DRN, for several levels of the variables that affect the R2∆ measures.