La replicación aplicada a la infancia
Volver a probar un experimento es difícil en todas partes. Cuando los participantes tienen doce meses, se convierte en un problema de organización tanto como de método.
El punto de partida
Los trabajos de replicación realizados en psicología a partir de 2011 mostraron que una parte importante de los efectos publicados no se encontraba, o se encontraba debilitada, al repetir el protocolo. El proyecto más citado, publicado en 2015 por la Open Science Collaboration, retomó cien estudios de psicología social y cognitiva y solo encontró un resultado significativo en una minoría de ellos.
La psicología del desarrollo se vio afectada más tarde, por razones prácticas: los lactantes son difíciles de reclutar, las sesiones son costosas y los efectivos publicados han sido históricamente muy reducidos.
El problema de los efectivos pequeños
Un estudio de veinte lactantes solo puede detectar un efecto muy grande. Si el efecto real es pequeño, no lo encontrará, salvo por azar, y es justamente ese hallazgo fortuito el que tiene más probabilidades de publicarse.
El mecanismo produce una literatura cuyos efectos publicados son sistemáticamente mayores que los efectos reales, sin que ningún autor tenga que cometer falta alguna.
La potencia estadística, es decir, la probabilidad de que un estudio detecte un efecto que existe, depende del efectivo y del tamaño del efecto. Rara vez se calculaba en las publicaciones antiguas del campo, lo que impedía apreciar la magnitud del problema.
La respuesta colaborativa
El consorcio ManyBabies, lanzado en 2017, aplica un mismo protocolo en decenas de laboratorios, lo que eleva el efectivo a varios miles de lactantes y permite estimar el efecto con precisión. El dispositivo se basa en decisiones tomadas en común antes de la recogida, protocolo, criterios de exclusión de sesiones, análisis previstos, lo que limita los ajustes a posteriori.
Sus primeros resultados recuperaron ciertos efectos clásicos, en particular la preferencia por el habla dirigida a los lactantes, con magnitudes menores que las publicaciones de origen, y no recuperaron otros.
Lo que estos trabajos no dicen
Un efecto no encontrado no es necesariamente inexistente. Puede depender de condiciones que el protocolo común no reproduce, en particular de características de la población o del material empleado. La lengua de los estímulos, la edad exacta de los niños o su familiaridad con la situación de laboratorio son ejemplos de esas condiciones.
Los consorcios procuran poner a prueba esa hipótesis analizando la variación entre centros, lo que se ha convertido en una de las aportaciones más interesantes de estos dispositivos, con independencia del veredicto sobre el efecto medio.
Las prácticas que cambian
El registro previo de los análisis, la publicación de los datos y el cálculo de la potencia antes de la recogida se han difundido en el campo, más despacio que en otros ámbitos por falta de medios. Exigen tiempo y competencias adicionales, que a los equipos pequeños les cuesta más reunir.
Esas prácticas no garantizan la verdad de un resultado; hacen visible lo que se decidió antes de ver los datos, distinción que basta para cambiar el valor de una publicación.
Para recordar
Los efectivos históricamente reducidos producen una literatura con efectos sobrestimados.
Los consorcios multilaboratorio elevan el efectivo a varios miles y encuentran efectos menores.
Un efecto no encontrado puede depender de condiciones locales, algo que el análisis de la variación entre centros permite probar.
Este artículo describe mecanismos y desacuerdos documentados. No recomienda ninguna posición, ningún partido y ningún voto, y no compromete otra lectura que la de los trabajos que cita.
Y usted, ¿dónde se sitúa?
El test Civix sitúa sus convicciones en seis dimensiones y lo vincula a uno de los doce perfiles, sin decirle nunca qué pensar.
Empezar mi test