La réplication appliquée à l'enfance

Les travaux de réplication conduits en psychologie à partir de 2011 ont montré qu'une part importante des effets publiés ne se retrouvait pas, ou se retrouvait affaiblie, lorsqu'on reprenait le protocole. Le projet le plus cité, publié en 2015 par l'Open Science Collaboration, a repris cent études de psychologie sociale et cognitive et n'a retrouvé un résultat significatif que pour une minorité d'entre elles.

La psychologie du développement a été touchée plus tardivement, pour des raisons pratiques : les nourrissons sont difficiles à recruter, les séances coûteuses, et les effectifs publiés historiquement très réduits.

Une étude de vingt nourrissons ne peut détecter qu'un effet très grand. Si l'effet réel est petit, elle ne le trouvera pas, sauf par hasard, et c'est justement cette trouvaille fortuite qui a le plus de chances d'être publiée.

Le mécanisme produit une littérature dont les effets publiés sont systématiquement plus grands que les effets réels, sans qu'aucun auteur n'ait à commettre de faute.

La puissance statistique, c'est-à-dire la probabilité qu'une étude détecte un effet qui existe, dépend de l'effectif et de la taille de l'effet. Elle était rarement calculée dans les publications anciennes du champ, ce qui empêchait d'apprécier l'ampleur du problème.

Le consortium ManyBabies, lancé en 2017, conduit un même protocole dans des dizaines de laboratoires, ce qui porte l'effectif à plusieurs milliers de nourrissons et permet d'estimer l'effet avec précision. Le dispositif repose sur des décisions prises en commun avant le recueil, protocole, critères d'exclusion des séances, analyses prévues, ce qui limite les ajustements après coup.

Ses premiers résultats ont retrouvé certains effets classiques, notamment la préférence pour le langage adressé aux nourrissons, avec des tailles plus faibles que les publications d'origine, et n'en ont pas retrouvé d'autres.

Un effet non retrouvé n'est pas nécessairement inexistant. Il peut dépendre de conditions que le protocole commun ne reproduit pas, notamment de caractéristiques de la population ou du matériel utilisé. La langue des stimuli, l'âge exact des enfants ou leur familiarité avec la situation de laboratoire sont des exemples de ces conditions.

Les consortiums s'efforcent de tester cette hypothèse en analysant la variation entre sites, ce qui est devenu l'un des apports les plus intéressants de ces dispositifs, indépendamment du verdict sur l'effet moyen.

L'enregistrement préalable des analyses, la publication des données et le calcul de la puissance avant le recueil se sont diffusés dans le champ, plus lentement que dans d'autres domaines faute de moyens. Elles demandent du temps et des compétences supplémentaires, que les petites équipes ont plus de mal à réunir.

Ces pratiques ne garantissent pas la vérité d'un résultat ; elles rendent visible ce qui a été décidé avant de voir les données, distinction qui suffit à changer la valeur d'une publication.