Evaluación de IA y psicometría

Psicometría · Evaluación de IA

Investigo, diseño y construyo. Y compruebo qué funciona.

Evalúo modelos de IA y diseño herramientas para investigar y trabajar mejor.

01 / Trabajo seleccionado

Preguntas que se vuelven proyectos.

Cada caso cuenta la pregunta que lo originó, una decisión que tomé en el camino y qué se ha comprobado hasta ahora.

InvestigaciónEvaluación de IA

Silicon Invariance

¿Una población sintética puede sustituir una encuesta?

Una auditoría psicométrica de seis modelos. Comparabilidad, estructura y predicción, con una referencia humana.

Explorar el caso
Esquema didáctico: un reactivo en dos sistemas
Investigación / Comparabilidad

PISA e invarianza

Qué hace defendible comparar puntuaciones entre sistemas educativos, y qué cambia al considerar un diseño adaptativo.

Explorar el caso
Del análisis a una especificación reproducible
Herramienta / Psicometría

EvalIA

Analizar, examinar los supuestos y conservar cómo se obtuvo el resultado. Seis modelos TRI y contrastes numéricos independientes.

Explorar el caso
Audio → transcripción → revisión → piezas
Sistema / Producción creativa

Cinefilosos Studio

Una herramienta para sostener un podcast: organizar la producción, preparar piezas y rastrear lo que dicen hasta el episodio.

Explorar el caso
02 / Una decisión bajo la lupa

¿Qué cambia al
invertir las etiquetas?

En Silicon, invertir las etiquetas permitió separar a los modelos que, en esta prueba, siguen el significado de la escala de los que conservan su perfil aunque cambie el rótulo de los extremos.

Cuatro modelos conservaron correlaciones positivas entre perfiles (+0.50 a +0.94), es decir, no siguieron el cambio de etiquetas; dos mostraron correlaciones negativas (−0.91 y −0.96). El estudio conservó a los seis en el resto de la auditoría y, frente a la referencia humana, ninguno reprodujo la estructura de valores ni pronosticó la encuesta de 2023 mejor que la ronda anterior, tampoco los dos que siguieron la inversión.

Ver el alcance de la evidencia
Explora la lógica de la prueba
Se parece mucho a míNo se parece nada a mí

La categoría 1 expresa mucha semejanza. ¿Qué debería pasar si cambiamos el significado de los extremos?

Esquema didáctico simplificado. No genera respuestas de un modelo.

04 / Escritura

El método, explicado.

Evaluación de IA

SWE-bench Verified
como instrumento.

Una matriz de 173 sistemas por 500 reactivos, leída como un test: dimensionalidad, Rasch frente a 2PL, información y dependencia local.

Ver la pieza
Validez

Ficha de validez:
SWE-bench Verified.

Qué afirma un «78% en SWE-bench Verified», qué evidencias lo respaldan y hasta dónde puede generalizarse.

Ver la pieza
05 / Sobre mí

Si tuviera que elegir
una palabra, evaluador.

Estudié psicología, pero hace mucho que no me nace llamarme psicólogo. Soy una mezcla extraña de conductista radical, analista de datos y psicómetra que trabaja con IA.

Evalúo resultados y evidencias de validez, pero también metodologías, herramientas, procesos y criterios. Con la IA hago lo mismo: la uso para construir y la evalúo mientras la uso.

Investigación y colaboración

Conversemos sobre evaluación.

Para una oportunidad en investigación, evaluación de IA o una pregunta de medición que merezca examinarse con cuidado.

¿Buscas consultoría psicométrica?
Conoce Latente Evaluación