Fiable ne veut pas dire juste

La fidélité désigne la constance d'une mesure : un instrument fidèle donne des résultats proches quand on mesure deux fois la même chose. La validité désigne autre chose : le fait que le résultat porte bien sur ce que l'instrument prétend mesurer. Le langage courant confond volontiers les deux.

L'image classique est celle d'une balance mal réglée qui affiche chaque matin deux kilos de trop. Elle est parfaitement fidèle, puisqu'elle répète la même erreur, et elle n'est pas juste. Une fidélité suffisante est nécessaire à la validité ; elle ne la garantit jamais.

L'indice de fidélité le plus répandu est le coefficient alpha, proposé par Lee Cronbach en 1951. Il estime à quel point les questions d'une échelle varient ensemble. On le trouve dans presque toutes les publications, parfois comme seul argument de qualité.

Il est pourtant souvent mal lu. Un alpha élevé ne prouve pas qu'une échelle mesure une seule chose, et il augmente mécaniquement avec le nombre de questions. Une échelle faite de formulations presque identiques obtient un excellent coefficient, précisément parce qu'elle répète la même question.

Une autre forme de fidélité consiste à faire passer le même questionnaire à quelques semaines d'intervalle. Pour un trait supposé stable, on attend des scores proches. Pour un état, l'humeur du jour par exemple, une forte stabilité serait au contraire suspecte : l'instrument ne capterait pas ce qui change.

La question n'a donc pas de réponse générale. Le niveau de stabilité attendu dépend de ce que l'on prétend mesurer, et un même chiffre peut être une qualité pour une échelle et un défaut pour une autre. Cette dépendance n'apparaît pas dans le coefficient lui-même.

Aucune mesure psychologique n'est exempte d'erreur. La théorie classique des tests en tire une conséquence pratique : chaque score individuel peut être accompagné d'un intervalle, calculé à partir de la fidélité, à l'intérieur duquel se situe probablement la valeur que l'on cherche à estimer.

Cet intervalle est souvent large. Deux personnes dont les scores diffèrent de quelques points peuvent ne pas différer du tout, et une même personne peut changer de catégorie d'une passation à l'autre sans que rien n'ait bougé chez elle. Un résultat sans marge affiche une précision qu'il n'a pas.

La validité ne se lit dans aucun coefficient unique. Elle s'établit par un faisceau d'arguments : le contenu des questions, la relation du score avec d'autres mesures du même objet, et son indépendance relative à l'égard de mesures d'objets voisins mais différents.

Ce dernier point pèse lourd dans le domaine émotionnel. Une échelle qui corrèle fortement avec un questionnaire de personnalité déjà existant risque de mesurer, sous un nom nouveau, une chose déjà connue. La fidélité, elle, ne peut rien en dire.

Lire un résultat suppose donc deux questions séparées : l'instrument donne-t-il le même résultat dans les mêmes conditions, et ce résultat porte-t-il sur ce qu'on annonce ? La première se résume à un chiffre. La seconde demande un dossier, et c'est elle qui décide de ce qu'on peut conclure.