Silicon Invariance
Todos los proyectos · Read in English
Para investigar · Evaluación de IA
Silicon Invariance
Artículo en preparación
¿Puede una población sintética sustituir a una muestra humana en una encuesta?
La pregunta
El proyecto examina si las respuestas de poblaciones sintéticas conservan estructura, comparabilidad y capacidad predictiva frente a una referencia humana.
Una decisión importante
La inversión de etiquetas permite examinar si las respuestas cambian con el significado de la escala. En cuatro modelos el perfil se mantuvo positivo, es decir, no siguieron el cambio de etiquetas, y en dos se invirtió, como se esperaría si leen la escala. El estudio conservó a los seis modelos en los demás análisis y marcó cada resultado de los cuatro que no siguieron el cambio.
Mi participación
Defino la pregunta y las decisiones metodológicas. La implementación y el análisis reciben asistencia de agentes de IA; la narrativa final del artículo está a mi cargo.
Un resultado que puedes examinar
La prueba invirtió las etiquetas de respuesta con las mismas 300 personas sintéticas para los seis modelos, construidas a partir de encuestados reales de la ESS9. Cuatro correlaciones permanecieron positivas (+0.50 a +0.94); las otras dos fueron negativas (−0.91 y −0.96), en la dirección esperada al invertir la escala. Estos valores describen perfiles agregados: no igualdad de todas las respuestas ni capacidad general de comprensión.
Figura existente del estudio, cotejada con los seis registros exportados. Las etiquetas «lee/no lee» de la figura nombran el comportamiento operativo en esta prueba; no una capacidad general del modelo.
Descargar las seis correlaciones (CSV) · Procedencia y huellas de archivos
El estudio usa seis modelos locales, el PVQ-21 y, como referencia humana, la ESS de 2018 (ronda 9). La ficha muestra un control metodológico. Los análisis confirmatorios de estructura, comparabilidad y predicción ya están hechos y fueron negativos para los seis modelos, también para los dos que siguieron la inversión; el artículo en preparación los presentará con su interpretación.
Estado de la evidencia
- Comprobado / documentado
- Se cotejaron la figura y los seis registros agregados de gate.rds, y el 28 de octubre de 2026 las seis correlaciones se recalcularon desde las lecturas guardadas del estudio, con el mismo resultado que results/gate_test.rds. La correlación del perfil crudo fue de +0.50 a +0.94 en cuatro modelos y de −0.91 y −0.96 en los otros dos. Esta ficha no vuelve a ejecutar la generación ni los análisis.
- Observado en uso
- Se examinaron salidas experimentales. El estudio no documenta un uso institucional de poblaciones sintéticas como sustituto de encuestas.
- Pendiente
- Artículo en preparación por Davin. Los análisis confirmatorios están terminados; faltan el artículo con su interpretación y la preparación del repositorio técnico para compartir. El estudio se limita al instrumento, modelos y condiciones examinados; no incluye modelos de frontera por API de pago.
Resultado agregado de la prueba de etiquetas invertidas, con las mismas 300 personas sintéticas para los seis modelos, construidas a partir de encuestados reales de la ESS9. Figura y CSV disponibles en esta ficha. La correlación no implica respuestas idénticas.