Alineación (Asparouhov y Muthén)

Es un método de Asparouhov y Muthén para comparar medias y varianzas latentes entre muchos grupos cuando la invarianza escalar exacta no se sostiene, algo frecuente con decenas de países. Parte de un modelo configural y busca, mediante una función de pérdida, la solución en la que la mayoría de los parámetros son casi iguales entre grupos y unos pocos difieren mucho, en lugar de muchos que difieren un poco. Es una alternativa a la invarianza parcial cuando el número de grupos hace poco práctico liberar parámetros uno por uno, y permite ordenar grupos reconociendo de forma explícita que algunos reactivos funcionan distinto.

Análisis factorial exploratorio y confirmatorio

Son dos técnicas para estudiar la estructura interna a partir de las correlaciones entre reactivos. En el exploratorio (AFE) se decide cuántos factores extraer, con apoyo del análisis paralelo, y el procedimiento estima qué reactivos cargan en cada uno; en el confirmatorio (AFC) se especifica de antemano qué reactivo pertenece a qué factor, casi siempre siguiendo la tabla de especificaciones, y se evalúa con índices de ajuste qué tan bien reproduce ese modelo los datos. Con reactivos dicotómicos ninguno de los dos debería hacerse sobre correlaciones de Pearson, pues las diferencias de dificultad producen factores espurios, y conviene usar correlaciones tetracóricas o un modelo de la Teoría de Respuesta al Ítem.

Análisis paralelo

Es el procedimiento de Horn para decidir cuántas dimensiones retener, y consiste en comparar los autovalores de la matriz de correlaciones observada con los que se obtienen de datos simulados o permutados sin estructura, del mismo tamaño y con las mismas distribuciones marginales. Se retienen los factores cuyo autovalor supera, por ejemplo, el percentil 95 de los autovalores aleatorios. Es de los criterios más usados y mejor estudiados, aunque con datos dicotómicos analizados con correlaciones de Pearson puede sugerir factores de dificultad, y en datos con un factor dominante muy fuerte puede retener componentes que, vistos de cerca, resultan artefactos de la no linealidad.

Árboles de DIF (raschtree, DIFtree)

Son métodos de partición recursiva que, en lugar de comparar grupos definidos de antemano, reciben un conjunto de covariables, como área, género o nivel socioeconómico, y buscan qué variable y qué punto de corte dividen la muestra en subgrupos con parámetros distintos. El raschtree lo hace sobre el modelo de Rasch y prueba la estabilidad de todos los reactivos a la vez, DIFtree lo hace reactivo por reactivo con regresión logística y glmtree permite aplicar la misma lógica con θ como variable de emparejamiento. Heredan los supuestos de su modelo y del diseño, de modo que en una prueba adaptativa, donde cada examinado ve pocos reactivos, el raschtree puede quedarse sin datos.

Argumento de validez (Kane)

Es el enfoque de Kane para validar, que consiste en escribir primero el argumento de interpretación y uso, la cadena de inferencias que lleva del desempeño observado a la decisión, y después juntar evidencia para cada eslabón. Las inferencias habituales son la puntuación, del desempeño a la calificación, la generalización, de los reactivos aplicados al universo de tareas equivalentes, la extrapolación, de ese universo al dominio que interesa, y la decisión, del puntaje al uso. Su ventaja práctica es que obliga a decir dónde está el eslabón débil, y en SWE-bench Verified, por ejemplo, la puntuación y la generalización resisten mejor que la extrapolación a la ingeniería de software real.

Calibración

Es el paso en que se estiman los parámetros de los reactivos, como su dificultad y su discriminación, ajustando un modelo de la Teoría de Respuesta al Ítem a las respuestas de una muestra de examinados, y con ello se define la escala en la que después se ubicará a cualquier examinado. Los parámetros calibrados dependen de esa muestra en la medida en que el modelo no ajuste, y por eso importa quién formó parte de ella. En programas como PISA la calibración es internacional y algunos reactivos conservan parámetros fijados en ciclos anteriores, mientras que en un benchmark la muestra de calibración son los sistemas que se han enviado, que no representan a ninguna población definida.

Centrado por persona (ipsatización)

Es la transformación que resta a cada respuesta de una persona la media de todas sus respuestas, de modo que lo que queda es la importancia relativa de cada reactivo o valor para esa persona, descontado su modo general de usar la escala. Schwartz la recomienda para el PVQ, pues la teoría de valores trata sobre prioridades, y dos personas que usan la escala con distinta generosidad pueden tener el mismo orden de valores. Tiene costos, ya que los puntajes centrados dejan de ser independientes entre sí y algunos análisis, como el factorial, se vuelven más delicados. Comparar perfiles crudos, sin centrar, permite ver si el número elegido sigue al significado de la escala.

Clave de respuestas

Es la relación de la opción correcta de cada reactivo, y con ella las respuestas crudas, la letra que eligió cada examinado, se convierten en aciertos y errores. Capturarla mal produce reactivos con discriminación negativa o distractores que parecen funcionar mejor que la respuesta correcta, así que una correlación extraña suele ser lo primero que la delata. En un examen que sigue aplicándose la clave es confidencial, y lo es también cualquier base de respuestas crudas que permita reconstruirla; por eso las guías de este sitio trabajan con datos sintéticos cuando el examen original no es público.

Confiabilidad

Es el grado en que los puntajes se mantienen cuando se repite el procedimiento de medición, sea aplicando la prueba otra vez, usando una forma paralela o, como se hace con más frecuencia, tratando a los reactivos como réplicas entre sí, que es lo que se llama consistencia interna. Los Standards de 2014 la tratan junto con la precisión y el error de medición, y esa compañía es útil, pues un coeficiente de confiabilidad resume la precisión en un solo número para toda la muestra, mientras que en la Teoría de Respuesta al Ítem la precisión cambia según el nivel de habilidad. Un coeficiente alto puede convivir, por eso, con poca precisión justo donde se toman las decisiones.

Constructo

Es el rasgo, la habilidad o el conocimiento que una prueba pretende medir, definido desde un marco teórico que dice qué incluye y qué deja fuera. Como no se observa directamente, se infiere a partir de las respuestas a los reactivos, y por eso definirlo bien es el primer paso de cualquier instrumento, pues de esa definición salen la tabla de especificaciones y, más adelante, la manera de leer los puntajes. Delimitarlo también por lo que no es ayuda a evitar reactivos que midan otra cosa, como un examen de comprensión lectora que termina premiando la memoria. En evaluación de IA el constructo suele quedar implícito en el nombre del benchmark, y conviene hacerlo explícito antes de interpretar cualquier puntaje.

Correlación reactivo-total

Es la correlación entre el resultado de un reactivo, 1 o 0, y el puntaje total, y como una de las dos variables es dicotómica se le llama punto-biserial. Conviene calcularla corregida, es decir, contra el total sin ese reactivo, para que el reactivo no se correlacione consigo mismo, cosa que pesa sobre todo en pruebas cortas. Valores positivos indican que acertar se asocia con puntajes altos, y suele pedirse que superen .20; valores cercanos a cero o negativos señalan un reactivo que no aporta al ordenamiento o que lo contradice, y en un benchmark eso apunta antes a un defecto del reactivo, como pruebas de aceptación que admiten soluciones incompletas, que a algo sustantivo.

Correlación tetracórica

Es una estimación de la correlación entre dos variables continuas y normales que se suponen subyacentes a dos reactivos dicotómicos, calculada a partir de la tabla de dos por dos de sus respuestas. La alternativa ingenua, la correlación de Pearson entre variables 0 y 1, conocida como phi, queda limitada por la diferencia de dificultades entre los reactivos, y al factorizarla aparecen factores que agrupan reactivos fáciles por un lado y difíciles por otro. La tetracórica corrige eso, a cambio de ser inestable con muestras pequeñas o reactivos extremos y de producir matrices que no siempre son definidas positivas y hay que suavizar, como ocurre con 173 examinados y 474 reactivos.

Curva característica del reactivo

Es la función que relaciona el nivel de habilidad con la probabilidad de acertar un reactivo, y en los modelos logísticos tiene forma de S. Dónde se ubica la curva sobre la escala indica la dificultad, y qué tan empinada es indica la discriminación, de modo que dos reactivos con curvas muy distintas pueden tener la misma proporción de aciertos. Compararla entre grupos es la base de varios métodos de DIF, ya que si un reactivo funciona igual para dos grupos sus curvas se enciman, y estadísticos como el RMSD de PISA resumen qué tanto se separa la curva observada en un país de la curva internacional.

Dependencia local (e independencia local)

La independencia local es el supuesto de que, una vez controlado el nivel de habilidad, las respuestas a dos reactivos no tienen relación entre sí, y la dependencia local es su violación. Aparece cuando los reactivos comparten un estímulo, cuando la respuesta a uno da pistas para otro o cuando un reactivo depende de haber resuelto el anterior, y por eso las guías de redacción piden mantener independiente el contenido de cada reactivo. Su efecto es que la prueba parece más precisa de lo que es, pues cuenta dos veces información que en realidad es una sola. Se detecta con estadísticos de residuales como el Q3 de Yen.

DIF uniforme y no uniforme

En el DIF uniforme la diferencia entre grupos tiene la misma dirección en toda la escala de habilidad, de modo que, en términos de la Teoría de Respuesta al Ítem, el reactivo es más difícil para un grupo y discrimina igual en ambos. En el no uniforme la diferencia cambia según el nivel, porque el reactivo discrimina distinto en cada grupo, y puede favorecer a uno en la parte baja de la escala y a ninguno, o al otro, en la parte alta. La distinción importa al elegir método, pues Mantel-Haenszel, por construcción, solo detecta el primero, mientras que la regresión logística y los métodos de TRI que estiman la discriminación, como la ji cuadrada de Lord con un 2PL o la razón de verosimilitud, pueden detectar ambos; los que descansan en el modelo de Rasch, como la diferencia de logits, solo ven el primero.

Diferencia de logits (Rasch)

Es un método de DIF que ajusta el modelo de Rasch por separado en cada grupo, compara las dificultades de cada reactivo con una prueba de Wald y expresa el DIF como la diferencia entre ellas, en logits. Su ventaja es la interpretación directa, pues una diferencia de 0.5 quiere decir que el reactivo es medio logit más difícil para un grupo con la misma habilidad. Su límite es que descansa por completo en el supuesto de Rasch, de modo que, si los reactivos discriminan distinto, el método trabaja sobre una representación incorrecta de los datos, y en el análisis de dos grupos de mi tesis no señaló ningún reactivo donde la ji cuadrada de Lord señaló siete.

Dificultad (p y b)

En la Teoría Clásica de los Tests, la dificultad de un reactivo es la proporción de examinados que lo acierta, así que, por contraintuitivo que parezca, un valor alto indica un reactivo fácil; se suelen preferir reactivos entre .20 y .80, aunque el criterio depende del propósito y conviene leerlo con los demás indicadores. En la Teoría de Respuesta al Ítem, la dificultad es el parámetro b, que se expresa en la misma escala que la habilidad θ y marca, en los modelos de uno y dos parámetros, el punto donde un examinado tiene 50% de probabilidad de acertar. La diferencia práctica es que p cambia si cambia la muestra, y b, si el modelo ajusta, se mantiene.

Dimensionalidad

Es el número de atributos latentes que hacen falta para explicar las relaciones entre las respuestas a los reactivos. Una prueba unidimensional puede resumirse con un solo puntaje sin perder demasiada información, mientras que una multidimensional pide subpuntajes o un modelo que reconozca sus dimensiones. Se estudia con análisis factorial, análisis paralelo y comparación de modelos, y como la unidimensionalidad casi nunca es exacta, la pregunta práctica es si un modelo de una dimensión es una aproximación defendible para el uso previsto. Con examinados muy heterogéneos, como los sistemas de un leaderboard, un factor general domina con facilidad y puede ocultar dimensiones secundarias.

Discriminación (a)

Es la capacidad de un reactivo para distinguir entre examinados con más y con menos del atributo medido. En la Teoría Clásica de los Tests se calcula como la diferencia entre la proporción de aciertos del grupo de puntaje alto y la del grupo bajo, o como la correlación del reactivo con el total; valores por encima de .20, o de .30 con criterios más estrictos, suelen considerarse aceptables. En la Teoría de Respuesta al Ítem es el parámetro a, proporcional a la pendiente de la curva característica en el punto b, que no tiene un tope fijo y que, cercano a cero o negativo, indica un reactivo que no ordena a los examinados como el resto de la prueba.

Diseño adaptativo

Es un diseño en el que la prueba se ajusta al examinado durante la aplicación, reactivo por reactivo o por bloques en el caso multietapa, presentando los reactivos que más información aportan según las respuestas anteriores. Para estimar la habilidad es eficiente, pues logra la misma precisión con menos reactivos, aunque complica los análisis que suponen que todos respondieron lo mismo, ya que cada examinado ve pocos reactivos, el puntaje bruto deja de ser comparable y quién ve un reactivo depende de su desempeño previo. Por eso el DIF en pruebas adaptativas suele emparejar por θ y analizar cada reactivo solo con quienes lo vieron.

Distractor

Son las opciones incorrectas de un reactivo de opción múltiple, y se redactan a partir de los errores que suelen cometer quienes todavía no dominan el contenido. Se revisan con dos datos, la proporción de examinados que elige cada uno y su correlación con el puntaje total. Un distractor que nadie elige no cumple su función y vuelve el reactivo más fácil de lo que parece, y uno con correlación positiva con el total, es decir, que eligen sobre todo los examinados de puntaje alto, suele indicar que esa opción también es correcta o que la clave está mal capturada. Revisarlos permite corregir un reactivo antes de descartarlo.

Error estándar condicional

Es la incertidumbre de la estimación de θ para un examinado ubicado en cierto punto de la escala, y en la Teoría de Respuesta al Ítem se calcula como el inverso de la raíz de la función de información en ese punto. La Teoría Clásica de los Tests ofrece un solo error estándar de medición para toda la prueba, mientras que el condicional reconoce que una misma prueba puede medir con precisión a los examinados de nivel medio y con mucha incertidumbre a los de los extremos. Reportarlo junto con el puntaje permite saber si dos examinados, o dos sistemas, son distinguibles, pues diferencias menores que unas cuantas veces ese error no lo son con una confianza razonable.

Escala delta de ETS (MH D-DIF)

Es la forma en que Educational Testing Service expresa el tamaño del DIF de Mantel-Haenszel, multiplicando el logaritmo de la razón de momios común por −2.35, de modo que el resultado, MH D-DIF, queda en la escala delta de dificultad de ETS. Con él se clasifica cada reactivo en tres niveles, A cuando el DIF es despreciable, B cuando es moderado y C cuando es grande, con cortes en valores absolutos de 1 y 1.5 combinados con pruebas de significancia (Zwick, 2012). El signo depende de cuál se defina como grupo focal: un valor negativo indica que el reactivo es más difícil para el focal, y uno positivo, para el de referencia. La misma clasificación se ha adaptado, de forma aproximada, a otros métodos.

Estilos de respuesta (aquiescencia)

Son tendencias sistemáticas a usar la escala de respuesta de cierta forma, con independencia de lo que pregunta cada reactivo, como la aquiescencia, que es la inclinación a estar de acuerdo, o la preferencia por los extremos o por el punto medio. Contaminan las comparaciones entre personas y entre grupos, porque parte de la diferencia de puntajes refleja el estilo además del contenido. La psicometría los controla con reactivos redactados en sentido inverso, centrando las respuestas en la media de cada persona o modelando el estilo de forma explícita. Con modelos de lenguaje aparece un equivalente, la tendencia a elegir ciertos números o posiciones, que invertir las etiquetas de la escala permite separar del significado.

Estimación EAP

Es la estimación de la habilidad como valor esperado a posteriori, es decir, la media de la distribución de θ que resulta de combinar la verosimilitud de las respuestas del examinado con una distribución previa, casi siempre normal. A diferencia de la máxima verosimilitud, produce valores finitos aun cuando un examinado acierta o falla todo, y por eso es la opción habitual en pruebas cortas o con reactivos muy fáciles o muy difíciles. Tiene un costo, pues las estimaciones se encogen hacia la media de la previa, más cuanto menos información aporta la prueba, y ese encogimiento conviene tenerlo presente al comparar examinados de los extremos.

Evidencia basada en el contenido

Es la fuente de evidencia que analiza la relación entre el contenido de la prueba y el constructo, es decir, si los reactivos cubren el dominio que se pretende medir, en las proporciones que dicta la tabla de especificaciones y sin material ajeno. Suele reunirse con el juicio de especialistas, que revisan la alineación de cada reactivo con lo que debía medir, y con el análisis de la composición de la prueba. Lo que antes se llamaba «validez de contenido», como si fuera un tipo de validez aparte, hoy se trata como una fuente de evidencia dentro de un mismo argumento. En los benchmarks esta revisión suele mostrar concentraciones, como el 46.2% de reactivos de django en SWE-bench Verified.

Evidencia de consecuencias

Es la fuente de evidencia que examina lo que ocurre cuando los puntajes se usan, tanto los beneficios esperados como los efectos no buscados, y se ocupa sobre todo de las consecuencias que provienen de fallas de la prueba, como la varianza irrelevante al constructo o la subrepresentación. Precisar desde el inicio qué usos son legítimos y cuáles no forma parte de ese trabajo. En los benchmarks la consecuencia más conocida es la que describe la ley de Goodhart, pues cuando un puntaje se vuelve la meta los sistemas se optimizan contra la prueba y el puntaje pierde parte de su significado, como ocurrió con SWE-bench Verified durante 2025.

Evidencia de estructura interna

Es la fuente de evidencia que examina si las relaciones entre los reactivos son las que supone la interpretación del puntaje, y los Standards la tratan en su estándar 1.13. Si se va a reportar un solo puntaje, hace falta que los reactivos se comporten como indicadores de un mismo atributo, y si se reportan subescalas, que se agrupen como dice la tabla de especificaciones. Se estudia con análisis de dimensionalidad, de dependencia local y de funcionamiento diferencial, y es la evidencia que más fácilmente se reúne con los datos que publica un benchmark, siempre que publique sus resultados por reactivo, como ocurre con SWE-bench.

Evidencia de procesos de respuesta

Es la fuente de evidencia que examina los procesos con que los examinados responden, para comprobar que coinciden con los que supone la interpretación del puntaje. Con personas se reúne con entrevistas cognitivas, protocolos de pensamiento en voz alta o tiempos de respuesta. Con modelos de lenguaje se vuelve central, porque un sistema puede acertar por rutas ajenas al constructo, como encontrar la solución en el historial de git, recordar el parche porque estaba en sus datos de entrenamiento o responder a la posición de una opción sin atender a su significado. Las trayectorias de los agentes y las perturbaciones controladas, como invertir las etiquetas de una escala, son maneras de reunir esta evidencia.

Evidencia de relaciones con otras variables

Es la fuente de evidencia que examina cómo se relacionan los puntajes con variables externas a la prueba, sean otras pruebas del mismo constructo, donde se espera convergencia, medidas de constructos distintos, donde se espera una relación débil, o criterios que la prueba pretende anticipar, como un desempeño posterior. En evaluación de IA esos criterios pueden ser otros benchmarks del mismo dominio, la aceptación de un parche por quienes mantienen el repositorio o el desempeño en tareas posteriores a la fecha de corte del modelo. Una caída grande de nivel frente a esos criterios, o una correlación de rangos baja, debilita la extrapolación del puntaje.

Examen de alto impacto

Es un examen cuyos puntajes se usan para tomar decisiones con consecuencias importantes para el examinado, como ingresar a un posgrado, obtener una certificación o conseguir un trabajo. Por esas consecuencias las exigencias de confiabilidad, validez e imparcialidad son mayores, ya que un error de medición o un reactivo que favorece a un grupo puede cambiar quién queda dentro y quién fuera, sobre todo cerca del punto de corte. Algo parecido ocurre con los benchmarks de IA, pues cuando un puntaje decide qué modelo adopta una empresa o qué sistema se considera seguro, ese puntaje empieza a tener consecuencias que su diseño quizá no previó.

Examinado (sustentante)

Es quien responde la prueba y recibe un puntaje; en México se dice también «sustentante», y así aparece en los textos sobre exámenes de admisión. Cuando se aplica la psicometría a la IA el examinado cambia de naturaleza, pues lo que se califica es un sistema, el modelo con su andamiaje, sus herramientas, su número de intentos y su presupuesto, y dos envíos del mismo modelo con andamiajes distintos son, para efectos de medición, dos examinados distintos. Eso tiene consecuencias para supuestos que con personas se dan por buenos, como la independencia entre examinados, que se rompe cuando varios sistemas comparten modelo base o andamiaje.

Ficha técnica

Es el documento de referencia de un instrumento, y reúne su propósito, la población a la que se dirige, los usos previstos y los que no lo son, el contenido y su estructura, el formato de los reactivos, la regla de calificación y las evidencias de confiabilidad y validez disponibles. Forma parte de la documentación que los Standards piden a quien desarrolla una prueba, y es lo primero que alguien externo debería poder consultar antes de usar un puntaje. Para un benchmark, una ficha así obliga a escribir lo que suele quedar implícito, como quién construyó los reactivos, cómo se seleccionaron y qué interpretación se propone para el puntaje.

Formas paralelas

Son versiones de una prueba construidas con la misma tabla de especificaciones y con reactivos equivalentes en dificultad y discriminación, de manera que un examinado obtendría, salvo por el error, el mismo puntaje en cualquiera de ellas. La correlación entre formas paralelas es una de las maneras clásicas de estimar la confiabilidad, aunque construirlas es caro y lento. La idea sirve también para leer los benchmarks, pues el mismo modelo evaluado con dos andamiajes o con dos versiones del harness produce puntajes que no pueden intercambiarse, y tratarlos como si vinieran de formas paralelas de la misma prueba lleva a comparaciones sin fundamento.

Formato de respuesta

Es la manera en que se le pide al examinado que responda, y condiciona qué puede medir la prueba y cómo se califica. En los formatos de selección, como la opción múltiple, la respuesta se elige entre opciones dadas y la calificación es casi automática, mientras que en los de respuesta construida o de desempeño el examinado produce algo, un texto, un procedimiento o un parche de código, y hace falta una regla de calificación más elaborada, sea una rúbrica, un juez o una batería de pruebas automáticas. La elección debería seguir al propósito y al constructo, aunque en la práctica pesan también el tiempo de aplicación y la facilidad de calificación.

Función de información

Es la suma, a lo largo de la escala de habilidad, de la información que aporta cada reactivo, y cada reactivo aporta más cerca de su dificultad y más cuanto mayor es su discriminación. Su utilidad está en que la precisión deja de ser un número único, como en un coeficiente de confiabilidad, y se vuelve una curva, pues el error estándar de θ es el inverso de la raíz de la información. Con ella se ve dónde mide bien una prueba y dónde no, y en SWE-bench Verified muestra que la información máxima queda por debajo de donde hoy están los mejores sistemas, que es precisamente donde se usan los puntajes para decidir cuál es mejor.

Funcionamiento diferencial del reactivo (DIF)

Hay funcionamiento diferencial cuando la probabilidad de acertar un reactivo difiere entre grupos, por ejemplo por área de posgrado, país o tipo de andamiaje, entre examinados que tienen el mismo nivel en el atributo medido. La comparación condicionada a la habilidad es lo que lo separa del impacto, que es la diferencia de promedios entre grupos y puede ser legítima. Detectar DIF no equivale a probar que un reactivo es injusto, pues solo identifica una diferencia que hay que explicar; el paso siguiente es cualitativo, y especialistas en el contenido deciden si su origen es ajeno al constructo, caso en que se habla de sesgo, o forma parte de lo que la prueba debe medir.

Grupo focal y grupo de referencia

En un análisis de DIF entre dos grupos, el grupo focal es aquel cuya posible desventaja interesa estudiar y el de referencia es el grupo de comparación, a menudo el mayoritario. La elección debería hacerse antes de ver los resultados, con base en el propósito del estudio o en la literatura, pues decidirla a partir de las diferencias de promedios de la misma muestra mezcla la exploración con la prueba. Cuando hay más de dos grupos, como cuatro áreas de posgrado, se puede repetir el análisis por pares, con el número de comparaciones que eso implica, o usar métodos que comparan todos los grupos a la vez.

Imparcialidad

Es la exigencia, a la que los Standards dedican un capítulo, de que los puntajes signifiquen lo mismo para todos los grupos de examinados y de que nadie quede en desventaja por características ajenas al constructo. Abarca el diseño de los reactivos, la accesibilidad, las condiciones de aplicación y el uso de los resultados. Una diferencia entre los promedios de dos grupos, por sí sola, no demuestra falta de imparcialidad, pues puede reflejar diferencias reales en el atributo; para estudiarla se compara a examinados del mismo nivel con técnicas de DIF y de invarianza, y lo que estas señalan se revisa después con especialistas para decidir si hay sesgo.

Índices de ajuste (M2, RMSEA, CFI)

Son los estadísticos con que se juzga si un modelo, factorial o de la Teoría de Respuesta al Ítem, representa bien los datos. El M2 de Maydeu-Olivares y Joe es una prueba de ajuste global para modelos de TRI, basada en las tablas de pares de reactivos, y de él se derivan un RMSEA y un CFI. El RMSEA estima el error de aproximación por grado de libertad y se prefieren valores pequeños; el CFI compara el modelo con uno en el que los reactivos no se relacionan y se prefieren valores cercanos a 1. Los cortes habituales, RMSEA ≤ .06 y CFI ≥ .95, se propusieron para variables continuas y conviene usarlos como guía.

Inferencia ecológica

Es la conclusión sobre individuos que se extrae de relaciones observadas entre grupos, y su riesgo, conocido como falacia ecológica, es que una asociación a nivel agregado puede no sostenerse, o incluso invertirse, a nivel individual. Que las carreras con un salto mayor del puntaje mínimo tengan más ausentismo en el examen de control es consistente con que los aspirantes de puntaje inflado hayan faltado, y también con otras explicaciones, y solo el cruce de datos por aspirante permitiría distinguirlas. El término viene de la estadística y de las ciencias sociales más que de la psicometría, aunque aparece cada vez que se analizan resultados de evaluación publicados por grupo.

Infit y outfit

Son dos medias cuadráticas de los residuales estandarizados que se usan, sobre todo con el modelo de Rasch, para evaluar el ajuste de cada reactivo o de cada examinado, y su valor esperado es 1. El outfit es un promedio simple, muy sensible a respuestas inesperadas en los extremos, como un reactivo difícil que acierta un examinado de nivel bajo, mientras que el infit pondera cada respuesta por su información y responde más a desajustes cerca del nivel del examinado. Valores por encima de 1 indican más ruido del esperado y por debajo, respuestas más predecibles de lo que el modelo supone; criterios como infit mayor que 1.3 u outfit mayor que 2 sirven para marcar casos que revisar.

Invarianza de medición

Es la condición de que la relación entre el atributo y las respuestas sea la misma en los grupos que se comparan, sean países, idiomas o modelos de lenguaje, y es lo que da sentido a restar el puntaje de un grupo al de otro. En el análisis factorial suele probarse por niveles, configural, métrica y escalar, y en la Teoría de Respuesta al Ítem equivale a que los parámetros de los reactivos sean iguales entre grupos, de modo que el DIF es su violación en un reactivo concreto. Cuando solo algunos reactivos la cumplen se habla de invarianza parcial, y la comparación descansa en los reactivos comunes, que funcionan como ancla.

Ji cuadrada de Lord

Es un método de DIF de la Teoría de Respuesta al Ítem que estima por separado los parámetros de cada reactivo en el grupo focal y en el de referencia, los pone en una escala común y prueba, con un estadístico ji cuadrada, si la diferencia entre ambos vectores de parámetros es mayor de lo que explicaría el error. Al especificar el modelo, por ejemplo un 2PL, detecta tanto diferencias de dificultad como de discriminación. Su resultado depende de que ese modelo ajuste y de que la vinculación entre las escalas de los grupos sea correcta, y en el examen de lectura de mi tesis, donde lo corrí con un 2PL, estuvo, junto con la regresión logística, entre los métodos que más reactivos señalaron.

KR-20 (y alfa de Cronbach)

Es el coeficiente de Kuder y Richardson para estimar la consistencia interna de una prueba de reactivos dicotómicos, y coincide con el alfa de Cronbach aplicado a ese tipo de reactivos. Crece con el número de reactivos y con la variabilidad de los examinados, aunque el tamaño de la muestra, por sí mismo, no lo aumenta. Por eso un KR-20 de .994 en SWE-bench Verified dice más de la distancia entre las líneas base y los mejores sistemas que de la precisión con que se distingue a dos sistemas de la parte alta. Supone, además, que todos los reactivos miden el atributo con la misma fuerza, supuesto que el omega de McDonald relaja.

Logit

Es el logaritmo de la razón de momios, ln[P / (1 − P)], y en el modelo de Rasch funciona como unidad común para la habilidad de los examinados y la dificultad de los reactivos. Cuando θ y b coinciden la probabilidad de acierto es de 50%, y cada logit de diferencia entre ambos multiplica por unos 2.7 los momios de acertar. Expresar el DIF en logits tiene la ventaja de ser directamente interpretable, pues un valor de 0.5 quiere decir que el reactivo es medio logit más difícil para un grupo que para otro con la misma habilidad. Quien viene del aprendizaje automático reconocerá la transformación, que aquí da unidad a una escala de medición.

Mantel-Haenszel

Es uno de los métodos de DIF más usados, propuesto para este fin por Holland y Thayer, y consiste en dividir a los examinados en estratos según su puntaje total y en armar, dentro de cada estrato, una tabla de dos por dos de grupo por acierto, de donde se obtienen una razón de momios común, alfa MH, y una prueba ji cuadrada. Su sencillez lo hace robusto con muestras moderadas y fácil de reportar, sobre todo en la escala delta de ETS. Tiene dos límites, que solo detecta DIF uniforme y que supone que todos respondieron los mismos reactivos, pues empareja por número de aciertos.

Mapa de Wright

Es una gráfica, asociada al modelo de Rasch, que muestra en un mismo eje la distribución de la habilidad de los examinados y la de la dificultad de los reactivos, ambas en logits. Su lectura es inmediata, pues si los reactivos se concentran en una región y los examinados en otra, la prueba mide con poca precisión a buena parte de quienes la responden, y si hay examinados por encima del reactivo más difícil, la prueba se quedó sin techo para ellos. Separar el mapa por grupos, como las áreas de posgrado, permite ver además si las distribuciones de habilidad difieren antes de buscar DIF.

Modelo de dos parámetros (2PL)

Es el modelo de la Teoría de Respuesta al Ítem que añade al de Rasch una discriminación propia para cada reactivo, de modo que la probabilidad de acierto es P(θ) = 1 / (1 + exp[−a(θ − b)]). El parámetro a no tiene un tope fijo y puede salir negativo en reactivos defectuosos. Con muestras pequeñas frente al número de reactivos sus estimaciones se vuelven inestables, y conviene usar distribuciones previas o reportar solo lo que el modelo identifica bien, como ocurre con los 173 envíos de SWE-bench Verified. En el examen de comprensión lectora que analicé en mi tesis ajustó claramente mejor que Rasch, y el 3PL no añadió una mejora que justificara su parámetro adicional.

Modelo de Rasch (1PL)

Es el modelo más sencillo de la Teoría de Respuesta al Ítem, en el que la probabilidad de acertar depende solo de la distancia entre la habilidad del examinado y la dificultad del reactivo, pues supone que todos los reactivos discriminan igual. El modelo de un parámetro (1PL) es equivalente en la práctica, con la diferencia de que estima esa pendiente común en lugar de fijarla en 1. Su propiedad más útil es que el puntaje bruto es una estadística suficiente de θ, de modo que dos examinados con los mismos aciertos reciben la misma estimación. Cuando los reactivos discriminan distinto el modelo no ajusta, y los análisis construidos sobre él heredan ese problema.

Modelo de tres parámetros (3PL)

Es el modelo de la Teoría de Respuesta al Ítem que suma a la dificultad y a la discriminación un tercer parámetro, c, que fija una probabilidad mínima de acierto y que en reactivos de opción múltiple se interpreta como la posibilidad de acertar adivinando. Su atractivo es evidente en exámenes de cuatro o cinco opciones, aunque el parámetro c suele estimarse mal sin muestras grandes y sin suficientes examinados de habilidad baja, y la complejidad que añade no siempre se traduce en mejor ajuste. Por eso se compara con el 2PL antes de adoptarlo, con índices de ajuste o criterios de información, y se conserva solo si la mejora lo justifica.

Modelo multidimensional compensatorio

Es un modelo multidimensional de la Teoría de Respuesta al Ítem en el que la probabilidad de acierto depende de una combinación lineal de varias habilidades, de modo que un examinado con mucha habilidad en una dimensión puede acertar un reactivo aunque tenga poca en otra. Se contrapone a los modelos no compensatorios, en los que hace falta un nivel mínimo en cada dimensión para acertar. En el examen de redacción y gramática de mi tesis, un modelo de dos dimensiones compensatorias fue el que mejor representó los datos, aunque incumplió el supuesto de independencia local.

Patrón de Guttman (efecto herradura)

Es el patrón de respuestas ideal del escalograma de Guttman, en el que los reactivos forman una escala acumulativa y quien acierta uno difícil acierta todos los más fáciles. Cuando un conjunto de reactivos se acerca a ese patrón, con un atributo dominante y dificultades muy dispersas, el análisis lineal de componentes produce un segundo componente que se relaciona en forma de U con el puntaje total, separando los extremos del centro, y que puede confundirse con una segunda dimensión. En SWE-bench Verified el segundo componente tiene precisamente esa forma, y por eso se lee como un artefacto de no linealidad, sin darle el estatus de un segundo atributo.

Prueba estandarizada

Es una prueba cuyo contenido, instrucciones, tiempo, condiciones de aplicación y regla de calificación se fijan de antemano y se mantienen para todos los examinados, pues solo así las diferencias de puntaje pueden atribuirse a diferencias en el constructo. Cuando las condiciones cambian entre examinados, sea un entorno de ejecución distinto, otro número de intentos o un harness corregido a medio camino, los puntajes dejan de estar, en sentido estricto, en la misma escala, aunque el instrumento conserve su nombre. En evaluación de IA la estandarización es más difícil de lo que parece, porque el examinado trae consigo parte de las condiciones, como el andamiaje y el presupuesto.

Puntaje bruto (aciertos)

Es la suma de los puntos obtenidos en la prueba, que con reactivos dicotómicos equivale al número de aciertos, y el porcentaje que reporta un benchmark es ese mismo número dividido entre el total de reactivos. Es fácil de calcular y de explicar, aunque supone que todos los reactivos pesan igual y solo es comparable entre examinados que respondieron el mismo conjunto de reactivos, condición que deja de cumplirse en los diseños adaptativos o con formas distintas. En el modelo de Rasch el puntaje bruto contiene toda la información sobre la habilidad, mientras que en el 2PL dos examinados con los mismos aciertos pueden recibir estimaciones distintas de θ.

Punto de corte

Es el puntaje a partir del cual se toma una decisión, sea admitir, aprobar o clasificar en un nivel de desempeño. Puede fijarse con referencia a un criterio, cuando especialistas deciden qué desempeño basta, o con referencia a la norma, cuando se ordena a los examinados y se toma a los primeros hasta llenar un cupo. En un concurso de admisión con cupo, el puntaje mínimo de cada oferta depende del número de lugares y de aspirantes tanto como del examen, de modo que su cambio de un año a otro mezcla la dificultad de la prueba con la competencia por los lugares. Cerca del punto de corte es donde más pesan los errores de medición.

Q3 de Yen

Es el estadístico de Yen para detectar dependencia local, y se calcula como la correlación, entre pares de reactivos, de los residuales que quedan tras restar a cada respuesta la probabilidad que predice el modelo. Bajo independencia local su valor esperado es ligeramente negativo, cercano a −1/(k − 1), donde k es el número de reactivos, y suele revisarse qué pares superan .20 en valor absoluto o qué tanto se apartan del promedio de todos los pares. Promediarlo dentro de grupos de reactivos, como los de un mismo repositorio de SWE-bench, permite preguntar si esos grupos funcionan como testlets.

Razón de verosimilitud para DIF

Es el método que, dentro de la Teoría de Respuesta al Ítem, compara dos modelos de grupos múltiples, uno en el que los parámetros de un reactivo se restringen a ser iguales en todos los grupos y otro en el que se liberan, y usa la prueba de razón de verosimilitud para decidir si liberarlos mejora el ajuste. Para que la comparación tenga sentido, las escalas de los grupos se vinculan con reactivos ancla, cuyos parámetros se mantienen iguales, mientras se permite que la media y la varianza de la habilidad difieran. Es de los métodos más rigurosos y exigentes, pues con grupos pequeños puede no converger, como ocurrió con el análisis de cuatro grupos de mi tesis.

Reactivo

Es la unidad mínima de una prueba, cada pregunta o tarea que se presenta y se califica por separado, y en psicometría en español se usa «reactivo» para lo que en inglés se llama item. En un examen de opción múltiple el reactivo tiene una base, que plantea el problema, y varias opciones de respuesta, una correcta y las demás distractores. En un benchmark como SWE-bench Verified cada issue con sus pruebas de aceptación funciona como un reactivo, pues se presenta igual a todos los sistemas y se califica con una regla fija. Pensar en reactivos, además del porcentaje total, es lo que permite preguntar cuáles funcionan bien y cuáles restan precisión.

Reactivo dicotómico y politómico

Un reactivo dicotómico se califica con dos valores, 1 si se acierta y 0 si no, que es la regla de casi todos los exámenes de opción múltiple y de benchmarks como SWE-bench Verified, donde un issue cuenta como resuelto solo si pasan todas sus pruebas. Un reactivo politómico admite más de dos categorías ordenadas, como el crédito parcial, en el que una respuesta incompleta vale menos que una completa pero algo vale, o las escalas de acuerdo de los cuestionarios. La distinción importa porque cada tipo pide modelos distintos, de modo que un análisis pensado para reactivos dicotómicos deja fuera a los politómicos o los obliga a dicotomizarse, con la consiguiente pérdida de información.

Reactivos ancla

Son reactivos que se asumen invariantes entre grupos y que sirven para vincular las escalas, de modo que las diferencias que queden en los demás reactivos puedan atribuirse a su funcionamiento, una vez descontado el nivel promedio de cada grupo. Elegirlos es delicado, pues un ancla con DIF contamina la comparación entera, y por eso suelen seleccionarse en dos pasos, primero con un análisis exploratorio que identifica los reactivos más estables y después fijándolos en el análisis definitivo. La misma idea aparece en programas como PISA, donde cada país necesita suficientes reactivos con parámetros comunes para que su comparación con los demás tenga un ancla firme.

Reactivos de tendencia

Son reactivos que se aplican en varios ciclos de una evaluación, como PISA, con parámetros que se mantienen fijos o casi fijos, y que sirven para enlazar la escala de cada ciclo con la de los anteriores. Gracias a ellos, un cambio en el promedio de un país entre ciclos puede atribuirse a los estudiantes, porque la parte de la prueba que sirve de referencia se mantuvo. Su uso supone que esos reactivos conservan su funcionamiento con el paso del tiempo, supuesto que puede fallar si cambian el currículo, el formato de aplicación o la exposición pública de los reactivos. Calibrar un solo ciclo sin fijarlos produce una escala que ya no coincide del todo con la oficial.

Regresión logística para DIF

Es el método de Swaminathan y Rogers, que ajusta para cada reactivo una regresión logística del acierto sobre el puntaje de emparejamiento, el grupo y la interacción entre ambos. Un efecto del grupo indica DIF uniforme, y uno de la interacción, DIF no uniforme. Además de la prueba de significancia conviene reportar un tamaño del efecto, como el cambio en el R² de Nagelkerke, que Jodoin y Gierl clasificaron en categorías parecidas a las de ETS, pues con muestras grandes casi cualquier diferencia resulta significativa. Su versión recursiva, con árboles, busca DIF en varias covariables a la vez, y la versión ordinal sirve para reactivos de crédito parcial.

Réplicas BRR (pesos replicados)

Son conjuntos de pesos replicados, calculados con el método de replicación repetida balanceada, que encuestas y evaluaciones con muestreo complejo publican junto con el peso final de cada caso. Para obtener el error estándar de cualquier estadístico se recalcula este con cada réplica y se mide la variabilidad entre los resultados, lo que respeta la estratificación y los conglomerados de la muestra, cosa que una fórmula para muestras aleatorias simples no hace. PISA publica 80 réplicas con el ajuste de Fay, con factor 0.5, y usarlas multiplica el cómputo por ese número, que es el costo de tener intervalos en lugar de valores puntuales.

Respuestas omitidas, no alcanzadas y no administradas

Una respuesta faltante puede significar cosas distintas, y tratarlas igual cambia los resultados. La omitida, cuando el examinado vio el reactivo y lo dejó sin responder, suele calificarse como incorrecta, pues se interpreta como no saber; la no alcanzada, cuando el tiempo se acabó antes de llegar al reactivo, suele tratarse como ignorable en la calibración; y la no administrada, cuando el diseño nunca presentó el reactivo, se ignora siempre. En los benchmarks el problema tiene una versión propia, pues un sistema que no generó parche por un error de infraestructura recibe un cero que dice poco sobre su capacidad, y conviene distinguirlo de un intento fallido.

RMSD (ajuste de un reactivo por grupo)

Es la raíz de la distancia cuadrática promedio entre la curva característica que predice la calibración internacional para un reactivo y la curva empírica que se observa en un grupo, ponderada por la distribución de habilidad de ese grupo, de modo que pesan más las diferencias donde hay más examinados. Como está en la escala de la probabilidad, un valor de 0.12 equivale, a grandes rasgos, a una separación de unos 12 puntos porcentuales. La OCDE lo usa desde PISA 2015 para decidir en qué países un reactivo necesita parámetros propios. Tiende a salir mayor en muestras pequeñas, y sin intervalos no distingue una celda apenas por encima del umbral de una apenas por debajo.

Standards (AERA, APA y NCME, 2014)

Son las normas que publican en conjunto la American Educational Research Association, la American Psychological Association y el National Council on Measurement in Education, y funcionan como el marco común de la psicometría para juzgar la construcción, el uso y la documentación de las pruebas. La edición vigente es la de 2014, que tiene traducción al español, y dedica capítulos a la validez, a la confiabilidad y precisión y a la imparcialidad, además de estándares numerados que se citan por separado, como el 1.3, sobre advertir cuando una interpretación común no se ha evaluado, o el 1.13, sobre la estructura interna. Se escribieron pensando en personas, y la mayoría de sus preguntas pueden hacérsele a un benchmark con algunas precauciones.

Subrepresentación del constructo

Es una de las dos amenazas a la validez que distinguió Messick y que retoman los Standards, y ocurre cuando la prueba es demasiado estrecha para el constructo que declara, porque le faltan contenidos, procesos o formatos que forman parte de él. Puede originarse en el diseño, al muestrear el dominio, o después, al eliminar reactivos por razones estadísticas hasta dejar vacía una dimensión de la tabla de especificaciones. En SWE-bench Verified, si el constructo declarado es la ingeniería de software, quedan fuera otros lenguajes, las tareas de varias horas, la aclaración de requerimientos y la calidad no funcional del código.

Tabla de especificaciones

Es el documento que traduce la definición operacional del constructo en un plan de construcción, y suele organizarse de lo general a lo particular, con áreas, subáreas, aspectos a evaluar, nivel cognitivo esperado, tipo de reactivo y número de reactivos por celda. Se espera que sea tan precisa que cualquier redactor pueda escribir los reactivos solo con ella como guía. También es la referencia contra la que se contrasta la estructura interna, pues si la tabla supone cuatro dimensiones, el análisis factorial confirmatorio pone a prueba precisamente esas cuatro. En los benchmarks rara vez existe una tabla así, y su ausencia hace difícil saber qué parte del dominio cubre el conjunto de tareas.

Teoría Clásica de los Tests (TCT)

Es el primer gran marco de la psicometría, y parte de una idea sencilla, que el puntaje observado de una persona es la suma de su puntaje verdadero y un error de medición. De ahí salen los índices clásicos, la dificultad como proporción de aciertos, la discriminación como diferencia entre grupos de puntaje alto y bajo o como correlación reactivo-total, y la confiabilidad como la parte de la varianza del puntaje que corresponde al puntaje verdadero. Sus cálculos son simples y funcionan con muestras pequeñas, a cambio de que todos sus índices dependen de la muestra concreta de examinados y de reactivos, limitación que la Teoría de Respuesta al Ítem intenta resolver.

Teoría de Respuesta al Ítem (TRI)

Es una familia de modelos que expresan la probabilidad de que un examinado acierte un reactivo en función de su nivel en el atributo, θ, y de uno o más parámetros del reactivo, como la dificultad y la discriminación. Como reactivos y examinados quedan en la misma escala, permite cosas que la Teoría Clásica de los Tests no permite con facilidad, como saber dónde mide mejor una prueba, comparar a examinados que respondieron reactivos distintos o estudiar si un reactivo funciona igual en dos grupos. A cambio, exige supuestos, sobre todo sobre la dimensionalidad y la independencia local, y por eso revisar el ajuste del modelo forma parte del análisis desde el principio.

Testlet

Es un conjunto de reactivos que parten de un mismo estímulo, como un texto, una gráfica o un caso, y que se responden en bloque; en español también se les llama multirreactivos o conjuntos de reactivos basados en un contexto. Son valiosos porque permiten evaluar procesos complejos, como analizar o evaluar información, aunque sus reactivos suelen ser localmente dependientes, pues quien entendió mal el texto tiende a fallar varios a la vez. Hay modelos de la Teoría de Respuesta al Ítem que incorporan un efecto por testlet, y en los benchmarks la idea se aplica a reactivos que comparten un código base, como los 231 de django en SWE-bench Verified.

θ (theta)

Es la letra con que la Teoría de Respuesta al Ítem designa el nivel de un examinado en el atributo latente, sea la comprensión lectora de un aspirante o la capacidad de un sistema para resolver issues. Su escala se fija por convención, casi siempre con media 0 y desviación estándar 1 en la población de calibración, o en logits en el modelo de Rasch, y en ella se ubican también las dificultades de los reactivos. Como se estima a partir de las respuestas, cada θ viene con un error estándar que depende de cuánta información aporta la prueba en esa región de la escala. En un benchmark, θ describe al sistema completo, con su andamiaje y su presupuesto.

Validez

Los Standards de 2014 la definen como el grado en que la evidencia y la teoría respaldan las interpretaciones de los puntajes para los usos propuestos, y esa definición, que viene de Messick y que Kane llevó a la forma de un argumento, desplaza la pregunta. Lo que se valida son las interpretaciones y los usos, así que decir que una prueba «es válida» resulta, a lo mucho, una abreviatura de que cierta interpretación, para cierto uso y en cierta población, tiene respaldo suficiente. La evidencia proviene de varias fuentes, contenido, procesos de respuesta, estructura interna, relaciones con otras variables y consecuencias, y conforme cambian la población o el uso tiene que revisarse.

Variable de emparejamiento

Es la medida que se usa para comparar a examinados de distinto grupo con el mismo nivel en el atributo, y en Mantel-Haenszel y en la regresión logística suele ser el puntaje total o el puntaje sin el reactivo analizado. Su calidad condiciona todo el análisis, pues si el puntaje de emparejamiento contiene reactivos con DIF la comparación queda contaminada, y por eso se purifica, retirando de forma iterativa los reactivos señalados. Cuando los examinados no responden los mismos reactivos, como en un diseño adaptativo, el número de aciertos deja de ser comparable y hay que emparejar por una θ estimada en una escala común.

Varianza irrelevante al constructo

Es la otra amenaza a la validez que distinguió Messick, y ocurre cuando la prueba mide, además del constructo, algo que no forma parte de él, de modo que una porción de las diferencias entre examinados se debe a ese factor ajeno. Puede inflar los puntajes, como cuando un reactivo se resuelve por un atajo o una pista, o deprimirlos, como cuando una exigencia de lectura entorpece un examen de matemáticas. En SWE-bench Verified aparece en reactivos que fallan porque el contenedor tenía menos de dos núcleos o porque un servicio externo no respondió, condiciones ajenas a resolver el issue que, aun así, cuentan en el porcentaje.

Zh (ajuste de examinados)

Es la versión estandarizada de la verosimilitud del patrón de respuestas de un examinado, propuesta por Drasgow, Levine y Williams, y se interpreta, de manera aproximada, como una puntuación z. Valores cercanos a cero indican un patrón coherente con el modelo, y valores muy negativos, un patrón inesperado, como el de un examinado que acierta reactivos difíciles y falla otros fáciles. Con personas suele asociarse con descuido, copia o adivinación; con sistemas de IA puede reflejar fallas de infraestructura que producen ceros sin relación con la dificultad, como tiempos agotados o contenedores que no arrancan, o perfiles idiosincrásicos del andamiaje o del modelo.