Lire une taille d'effet en éducation

Une taille d'effet standardisée exprime l'écart entre deux groupes en unités d'écart type. Elle permet de comparer des résultats obtenus avec des instruments différents, ce qu'un écart brut de points ne permet pas.

Les seuils d'interprétation les plus cités, proposés par Jacob Cohen en 1988, qualifient de petit, moyen et grand des valeurs de zéro virgule deux, cinq et huit. Cohen lui-même présentait ces repères comme des conventions provisoires en l'absence de référence de terrain.

Un exemple aide à fixer les idées : une taille d'effet de zéro virgule deux signifie que l'élève moyen du groupe traité se situe à peu près au cinquante-huitième percentile du groupe témoin. L'écart est réel, il n'a rien de spectaculaire.

Les travaux de synthèse ont montré que la distribution réelle des effets mesurés dans les essais éducatifs est très concentrée vers le bas. Les valeurs qualifiées de moyennes par Cohen sont rares dans les essais rigoureux à grande échelle.

Des chercheurs, notamment Matthew Kraft, ont proposé des repères propres au domaine, qui situent beaucoup plus bas la frontière de ce qui compte pour une politique éducative.

Kraft a publié ces repères en 2020 en insistant aussi sur le coût et sur l'échelle de l'intervention : un petit effet obtenu à faible coût auprès de nombreux élèves n'a pas la même portée qu'un effet comparable obtenu par un dispositif lourd.

Trois facteurs jouent dans le même sens. Les échantillons réduits produisent des estimations dispersées dont seules les plus grandes sont publiées. Les mesures conçues par les auteurs de l'intervention sont plus sensibles que les tests standardisés. Et les essais courts mesurent un effet immédiat qui s'atténue ensuite.

La comparaison des effets selon le type de mesure est spectaculaire dans plusieurs synthèses : passer d'un test maison à un test standardisé divise couramment l'effet mesuré.

Les classements d'interventions par taille d'effet, dont le plus connu est celui de John Hattie, agrègent des méta-analyses hétérogènes. Les critiques méthodologiques ont porté sur le mélange d'études aux devis et aux mesures incomparables. Ce classement, publié en 2009 sous le titre Visible Learning, a connu une diffusion considérable dans la formation des enseignants, ce qui explique l'attention portée à ses fondements méthodologiques.

L'objection principale n'est pas que les chiffres soient faux mais qu'ils ne soient pas commensurables : mettre dans un même classement une intervention testée par essai randomisé et une association corrélationnelle produit un ordre trompeur.

Trois questions suffisent le plus souvent. Sur quelle mesure, standardisée ou construite pour l'occasion. Sur quel effectif, et avec quelle assignation. À quelle distance de l'intervention la mesure a été prise.

Un effet modeste obtenu sur un test indépendant, à grande échelle et plusieurs mois après, est plus informatif qu'un effet important obtenu sur un test maison, sur cinquante élèves, mesuré le lendemain.