Davin Díaz.

Ocho análisis, ocho respuestas distintas

Qué pasa cuando se analiza el mismo examen con todas las técnicas DIF disponibles

Davin Díaz

2026-08-14

Escritura

Ocho análisis, ocho respuestas distintas

El problema

Cuando un mismo examen se aplica a personas de cuatro áreas distintas de conocimiento, antes de usar esas puntuaciones para cualquier decisión alguien debería preguntarse si los reactivos funcionan igual para todos los grupos. Esa pregunta tiene un nombre técnico, funcionamiento diferencial del reactivo (DIF), y una respuesta que parece sencilla, pues bastaría con correr un análisis y ver qué reactivos salen señalados. Lo cierto es que hay al menos ocho maneras de hacer ese análisis, cada una con sus propios supuestos, y no siempre llegan al mismo resultado.

En mi tesis de maestría analicé un examen de comprensión lectora de once reactivos, aplicado a más de mil aspirantes a posgrado de una institución de educación superior de la Ciudad de México y divididos en cuatro áreas: ciencias físico-matemáticas e ingenierías (CFMI), ciencias biológicas, químicas y de la salud (CBQS), ciencias sociales (CS) y humanidades y artes (HA). Hice los ocho análisis sobre los mismos datos, y en este texto cuento qué pasó cuando comparé sus resultados entre sí.

Cuánto difieren

La siguiente tabla resume cuántos reactivos señaló cada análisis. Cinco de las filas cuentan sobre las seis comparaciones por pares de áreas; DIFtree trabaja con toda la muestra y varias covariables a la vez, y las dos filas de razón de verosimilitud corresponden a la comparación de CFMI y CBQS contra CS y HA y al análisis simultáneo de las cuatro áreas. Las ocho filas salen de seis procedimientos, porque la regresión logística aparece dos veces, una por tipo de DIF, y la razón de verosimilitud otras dos, una por partición. Como lo que cuenta como reactivo señalado no es lo mismo en todas las filas, la última columna lo dice para cada una, y en las de razón de verosimilitud el total es menor que once porque los reactivos ancla no se ponen a prueba.

Análisis Reactivos señalados Qué cuenta como señalado
Ji cuadrada de Lord (2PL) 8 de 11 (1, 4, 5, 6, 8, 9, 10 y 11) p < .05 en tres o más de las seis comparaciones, el criterio que usé en la tesis; con una sola comparación serían 10
Regresión logística, DIF uniforme 8 de 11 (3, 4, 5, 6, 7, 9, 10 y 11) p < .05 en al menos una comparación
Mantel-Haenszel 7 de 11 (1, 4, 5, 6, 7, 9 y 10) MH D-DIF de 1 o más en valor absoluto, es decir, DIF moderado o elevado, en al menos una comparación
Regresión logística recursiva (DIFtree) 5 de 11 (4, 5, 6, 10 y 11) El árbol encuentra una partición para el reactivo: por área en el 4 y el 10 (CFMI y CBQS frente a CS y HA) y en el 6 (HA frente al resto), y por posgrado en el 5 y el 11
Diferencia de logits (Rasch) 4 de 11 (4, 5, 6 y 7) Diferencia de 0.5 logits o más en al menos una comparación
Razón de verosimilitud, dos grupos 4 de 8 (4, 5, 6 y 7) p < .05, con el 1, el 2 y el 8 como reactivos ancla
Regresión logística, DIF no uniforme 3 de 11 (5, 6 y 11) p < .05 en al menos una comparación
Razón de verosimilitud, cuatro grupos 0 de 10* p < .05, con el 2 como reactivo ancla

*Limitación de convergencia: el análisis simultáneo de cuatro grupos no convergió en la mayoría de los reactivos; de los diez que se pusieron a prueba, solo convergieron el 8, el 9 y el 10. El cero observado no permite concluir ausencia de DIF y no debe compararse como un resultado equivalente a los análisis que sí convergieron.

Dos análisis de la tesis quedan fuera de la tabla. El raschtree no señala reactivos uno por uno, pues lo que busca es qué covariable parte la muestra, y en este examen la partió únicamente por área, con CFMI y CBQS de un lado y CS y HA del otro. La razón de verosimilitud por pares de áreas tampoco aparece; con p < .05 en al menos una comparación, señaló 9 de 10, todos menos el 8, porque el 2 fue ancla en todos los pares.

Los conteos difieren entre métodos, pero el extremo de cero en esta tabla requiere la salvedad de la nota.

Y el contraste más agudo aparece en el análisis de dos grupos, donde comparé las áreas CFMI y CBQS contra CS y HA. Ahí, la Ji cuadrada de Lord señaló siete reactivos y el método de diferencia de logits basado en Rasch no señaló ninguno. Cero contra siete, mismo examen, misma partición.

Si alguien hubiera hecho este estudio con un solo método —lo habitual— habría llegado a una de dos conclusiones opuestas: que el examen tiene un problema serio de imparcialidad en la mayoría de sus reactivos, o que no tiene ninguno.

Por qué ocurre

A mi parecer, la explicación está en los supuestos, pues los métodos basados en TRI heredan los del modelo que los sustenta, y si ese modelo no representa bien los datos, el análisis DIF que se construye encima arrastra el problema, por bueno que sea el método en abstracto.

En este examen comparé tres modelos unidimensionales:

Modelo M2 p RMSEA CFI
Rasch 131.66 0.000 0.035 0.825
2PL 53.05 0.165 0.013 0.980
3PL 40.70 0.168 0.014 0.983

El modelo de Rasch no ajusta: su estadístico M2 es significativo y su CFI queda muy por debajo de los puntos de corte convencionales. El 2PL sí ajusta, y el 3PL no aporta una mejora sustancial que justifique el parámetro adicional.

Esto ofrece una posible explicación para el resultado de diferencia de logits. El método se calcula sobre un modelo de Rasch, es decir, sobre un modelo que asume la misma discriminación en todos los reactivos cuando los datos dicen lo contrario, de modo que se le está pidiendo, por así decirlo, que detecte diferencias entre grupos con una representación de los datos que ya sabemos que es incorrecta.

Lo mismo aplica al método raschtree, que en este estudio sí particionó por área. Al basarse también en Rasch, sus resultados pueden incluir sesgo en sí mismos, y por eso conviene contrastarlos con métodos alineados a la estructura real de los datos en lugar de tomarlos como confirmación.

La consecuencia práctica, considero, es incómoda para quien busca un procedimiento estándar, pues la selección del modelo forma parte del análisis DIF desde el principio, y reportar reactivos señalados sin reportar el ajuste del modelo subyacente deja al lector sin manera de saber cuánto vale el resultado.

Qué sí resiste

Pese a ello, la divergencia no es total. Al cruzar los métodos, tres reactivos —el 4, el 5 y el 6— aparecen señalados de forma consistente a través de aproximaciones con supuestos distintos, y en la tesis concluí que el 7, el 9 y el 10 lo estaban en menor medida; si se cuentan las filas de la tabla, el 11 aparece tantas veces como el 7 y el 10. En la comparación de dos grupos, en cambio, los que coinciden en tres de los cuatro métodos tradicionales (Mantel-Haenszel, regresión logística y ji cuadrada de Lord) son el 4, el 6 y el 10, este último justo en el umbral de Mantel-Haenszel.

Esa convergencia es el resultado con el que se puede trabajar. Un reactivo que señalan Mantel-Haenszel, la regresión logística, un método exploratorio recursivo y una razón de verosimilitud con anclas está señalado por razones que no dependen de los supuestos de ninguno de ellos en particular.

De ahí se sigue una recomendación operativa: usar varios métodos permite examinar cuánto dependen los hallazgos de las decisiones metodológicas. Con un solo método se corren dos riesgos simétricos: señalar reactivos que otros métodos consideran limpios, y dar por imparciales reactivos cuyo DIF ese método no puede ver. La regresión logística en su forma básica, por ejemplo, detectó DIF uniforme en ocho reactivos pero DIF no uniforme en solo tres; Mantel-Haenszel, por construcción, no puede ver el segundo tipo en absoluto.

Sin embargo, combinar métodos exige un criterio, pues correr ocho análisis y quedarse con la unión de todo lo señalado produce una lista inflada de falsos positivos. La coincidencia entre métodos con supuestos distintos es informativa, pero por sí sola no garantiza el control del error de tipo I.

Lo que esto significa para el examen

Vale la pena no perder de vista qué hay debajo de la discusión metodológica. Los reactivos con DIF más consistente no se inclinan todos hacia el mismo lado. Una vez controlado el nivel de habilidad, el 4 y el 6 resultaron más difíciles para los aspirantes de ciencias sociales y de humanidades, el 6 sobre todo para los de humanidades, mientras que el 5 y el 7 lo fueron para los de CFMI, y en la comparación de dos grupos el 10 quedó también del lado de ciencias sociales y humanidades. Es decir: personas con la misma comprensión lectora tenían distinta probabilidad de acertar esos reactivos según el posgrado al que aplicaban.

En un instrumento corto eso no es poca cosa, pues tres reactivos de once pueden mover las puntuaciones lo suficiente como para cambiar, en los márgenes, cualquier decisión que se tome con ellas.

Conviene precisar qué autoriza a concluir este análisis y qué no. Detectar DIF no significa que un reactivo sea injusto ni que deba eliminarse. Identifica una diferencia condicional entre grupos que requiere investigar su origen y su relación con el constructo. El paso siguiente es cualitativo: expertos en contenido revisan esos reactivos para determinar la fuente de la diferencia y decidir si conviene modificarlos, eliminarlos o conservarlos compensando estadísticamente. El análisis estadístico, así, produce la lista de candidatos a revisión, y el veredicto le corresponde a esa revisión.

Limitaciones

Tres, y la primera condiciona a las demás.

Tamaño de muestra. Aunque el estudio partió de más de mil sustentantes, dividirlos en cuatro áreas dejó grupos pequeños: 147 aspirantes en CFMI y 227 en HA. En la simulación de Rogers y Swaminathan (1993), pasar de 250 a 500 personas por grupo subió en unos 15 puntos la tasa con que la regresión logística y Mantel-Haenszel detectaban DIF uniforme, y aquí dos de los cuatro grupos quedan por debajo incluso de la condición más pequeña de ese estudio. Los análisis por pares de áreas deben leerse con cautela, sobre todo cuando un método no señala nada, porque con grupos así de chicos es más fácil que un DIF real pase sin detectarse.

Convergencia. El análisis de razón de verosimilitud con los cuatro grupos simultáneos no convergió en la mayoría de los reactivos, posiblemente relacionado con los tamaños de grupo pequeños. Ese cero de la tabla debe leerse, entonces, como ausencia de evidencia, y no como evidencia de que no haya DIF. La comparación de dos grupos sí convergió y sí señaló reactivos.

Aislamiento. Este estudio genera evidencia sobre una sola interpretación, la de imparcialidad entre áreas, y no se articula con el resto de las evidencias de validez que un examen de alto impacto requiere, de modo que, a mi parecer, sus resultados se leen mejor como una pieza de ese argumento más amplio que como un veredicto sobre el examen.

Una nota sobre la tesis

Al preparar este texto volví a los datos y al código originales de la tesis, y vale la pena decir que encontré algunas cosas que ahí quedaron mal y que en este texto ya aparecen corregidas.

La más importante es el sentido del DIF. En la tesis (p. 66) escribí al revés la regla para leer los signos de Mantel-Haenszel, pues en mi código el primer grupo de cada comparación era el de referencia y no el focal. En la discusión (p. 106) concluí que se habría perjudicado a quienes aplicaban a áreas como CFMI, y eso solo vale para el 5, el 7, el 9 y el 11. El 4, el 6 y el 10 van en el sentido contrario, es decir, resultaron más difíciles para ciencias sociales y humanidades, y en eso coinciden Mantel-Haenszel, la diferencia de logits, el árbol de Rasch y las proporciones de acierto a igual puntaje.

La segunda es la cita de Rogers y Swaminathan (1993). En la tesis (p. 78) les atribuí la recomendación de un mínimo de 500 personas por grupo, cuando en realidad 250 y 500 eran las dos condiciones de su simulación, y lo que muestran es que con 250 la potencia baja, no que haya un mínimo. La tercera es una errata de la p. 75, que dice 4, 6 y 11 donde la propia tabla muestra 4, 6 y 10.

Nada de esto cambia la conclusión central, la de que los métodos divergen y de que el 4, el 5 y el 6 son los que resisten al cruzarlos, pero sí cambia a quién desfavorece cada reactivo, y a mi parecer quien lea la tesis después de este texto merece saber por qué no coinciden.

Para leer completo

El estudio incluye también un examen de redacción y gramática, cuyo comportamiento resultó más complejo: ni el modelo unidimensional ni el modelo confirmatorio de cuatro dimensiones de la tabla de especificaciones ajustaron adecuadamente, y el modelo de dos dimensiones compensatorias que mejor representó los datos incumplió el supuesto de independencia local. Los detalles, las tablas completas y la discusión están en la tesis:

Díaz García, D. E. (2024). El papel del funcionamiento diferencial del reactivo (DIF) en la validez de exámenes de alto impacto [Tesis de maestría, Universidad Nacional Autónoma de México]. Programa de Maestría y Doctorado en Psicología, Residencia en Evaluación Educativa, Facultad de Psicología. Consultar en TESIUNAM

El código en R de todos los procedimientos, con explicación paso a paso, está en la guía de implementación de este mismo sitio.

Nota sobre la elaboración

Los análisis, los resultados y las conclusiones de este artículo provienen de mi tesis de maestría y son de mi autoría. La redacción de esta versión divulgativa se elaboró con asistencia de IA y fue revisada y verificada por mí. La responsabilidad por el contenido es enteramente mía.

Referencias