PISA e invarianza
Todos los proyectos · Read in English
Para investigar · Comparabilidad
PISA e invarianza
Artículo en preparación
Qué tendría que cumplir la medición para que una comparación entre sistemas educativos se sostenga.
La pregunta
El análisis examina diferencias en el funcionamiento de reactivos de ciencias entre sistemas educativos. La documentación distingue 90 sistemas presentes en el archivo y 84 con aplicación de ciencias en computadora, que son el alcance de este análisis.
Una decisión importante
El diseño adaptativo hizo necesario ajustar las herramientas de la segunda etapa. El emparejamiento por habilidad estimada permite trabajar con personas que recibieron conjuntos distintos de reactivos.
Mi participación
Dirijo la pregunta y la interpretación psicométrica, con asistencia de IA en la implementación del pipeline.
Una comprobación examinable
El archivo de resultados conserva dos contrastes con mirt sobre 1,313 celdas por variante. La concordancia al umbral y la diferencia máxima responden preguntas distintas: clasificar las mismas celdas no exige que todos los valores sean idénticos.
| Configuración | Correlación | Diferencia máxima absoluta | Concordancia al umbral |
|---|---|---|---|
| Configuración equivalente a mirt | 1.000000¹ | 0.000113 | 100% |
| Decisiones propias del pipeline | 0.985755 | 0.035050 | 99.24% |
¹ Redondeada a seis decimales. El CSV conserva más precisión. Se transcriben resultados calculados previamente; no se ejecutó una nueva calibración.
Descargar el contraste agregado (CSV) · Decisiones y límites del método (extracto) · Procedencia
El análisis cubre 84 sistemas con ciencias en computadora, dentro de los 90 presentes en el archivo. Usa calibración propia y RMSD puntual, sin intervalos BRR. Este contraste verifica una implementación; no demuestra por sí solo invarianza ni reproduce la calibración oficial.
Estado de la evidencia
- Comprobado / documentado
- Se leyó verificacion_mirt.rds: 1,313 celdas comparadas por variante. Con configuración equivalente a mirt, la diferencia máxima fue 0.000113 y la concordancia al umbral fue 100%. Con las decisiones propias del flujo de análisis, fueron 0.035050 y 99.24%, respectivamente.
- Observado en uso
- Análisis de archivos de evaluación; no se afirma adopción institucional ni reproducción de la calibración oficial de la OCDE.
- Pendiente
- Artículo en preparación. RMSD puntual sin intervalos BRR, grupos por sistema y calibración propia; estas limitaciones deben acompañar los resultados. No se volvieron a ejecutar los análisis al preparar la ficha.
Fuente: verificacion_mirt.rds y README del flujo de análisis. Dos filas agregadas exportadas para esta ficha; configuración equivalente no significa igualdad exacta ni réplica del operativo oficial.