Leer un tamaño del efecto en educación
Una cifra como cero coma cuatro circula mucho en las síntesis educativas. Saber de qué es medida evita compararla con lo que no mide.
Qué expresa la cifra
Un tamaño del efecto estandarizado expresa la diferencia entre dos grupos en unidades de desviación típica. Permite comparar resultados obtenidos con instrumentos distintos, cosa que una diferencia bruta de puntos no permite.
Los umbrales de interpretación más citados, propuestos por Jacob Cohen en 1988, califican de pequeño, medio y grande valores de cero coma dos, cinco y ocho. El propio Cohen presentaba esos puntos de referencia como convenciones provisionales a falta de una referencia de campo.
Un ejemplo ayuda a fijar ideas: un tamaño del efecto de cero coma dos significa que el alumno medio del grupo tratado se sitúa aproximadamente en el percentil cincuenta y ocho del grupo de control. La diferencia es real, pero no tiene nada de espectacular.
Por qué esos umbrales engañan en educación
Los trabajos de síntesis han mostrado que la distribución real de los efectos medidos en ensayos educativos está muy concentrada en la parte baja. Los valores que Cohen llamaba medios son raros en los ensayos rigurosos a gran escala.
Algunos investigadores, en particular Matthew Kraft, han propuesto referencias propias del ámbito, que sitúan mucho más abajo la frontera de lo que cuenta para una política educativa.
Kraft publicó esas referencias en 2020 insistiendo también en el coste y en la escala de la intervención: un efecto pequeño obtenido a bajo coste con muchos alumnos no tiene el mismo alcance que un efecto comparable obtenido mediante un dispositivo pesado.
Qué infla los efectos publicados
Tres factores actúan en el mismo sentido. Las muestras pequeñas producen estimaciones dispersas de las que solo se publican las mayores. Las medidas diseñadas por los autores de la intervención son más sensibles que las pruebas estandarizadas. Y los ensayos cortos miden un efecto inmediato que después se atenúa.
La comparación de los efectos según el tipo de medida es llamativa en varias síntesis: pasar de una prueba propia a una estandarizada divide con frecuencia el efecto medido.
El caso de las síntesis de síntesis
Las clasificaciones de intervenciones por tamaño del efecto, la más conocida de las cuales es la de John Hattie, agregan metaanálisis heterogéneos. Las críticas metodológicas se han centrado en la mezcla de estudios con diseños y medidas incomparables. Esa clasificación, publicada en 2009 con el título Visible Learning, tuvo una difusión considerable en la formación del profesorado, lo que explica la atención prestada a sus fundamentos metodológicos.
La objeción principal no es que las cifras sean falsas, sino que no son conmensurables: poner en una misma clasificación una intervención probada por ensayo aleatorizado y una asociación correlacional produce un orden engañoso.
Cómo leer una cifra aislada
Tres preguntas suelen bastar. Sobre qué medida, estandarizada o construida para la ocasión. Sobre qué efectivo, y con qué asignación. A qué distancia de la intervención se tomó la medición.
Un efecto modesto obtenido en una prueba independiente, a gran escala y varios meses después, es más informativo que un efecto grande obtenido en una prueba propia, con cincuenta alumnos, medido al día siguiente.
Para recordar
Los umbrales de Cohen son convenciones generales, mal ajustadas a los ensayos educativos.
Las medidas construidas por los autores de la intervención producen efectos mucho mayores que las pruebas estandarizadas.
Las clasificaciones por tamaño del efecto agregan diseños no comparables, lo que hace engañoso su orden.
Este artículo describe mecanismos y desacuerdos documentados. No recomienda ninguna posición, ningún partido y ningún voto, y no compromete otra lectura que la de los trabajos que cita.
Y usted, ¿dónde se sitúa?
El test Civix sitúa sus convicciones en seis dimensiones y lo vincula a uno de los doce perfiles, sin decirle nunca qué pensar.
Empezar mi test