Les échelles à cinq degrés et leurs pièges

L'échelle à degrés d'accord a été proposée par Rensis Likert dans sa thèse de 1932. Sa domination tient à trois qualités pratiques : elle se remplit vite, elle se code en nombres, et elle se prête aux traitements statistiques usuels sans discussion.

Elle repose pourtant sur une hypothèse discutable : que les intervalles entre degrés soient équivalents, autrement dit que l'écart entre plutôt pas et ni l'un ni l'autre vaille l'écart entre plutôt et tout à fait. Rien ne le garantit, et les traitements appliqués font comme si.

Une part des répondants approuve davantage qu'elle ne désapprouve, indépendamment du contenu de l'item. Le phénomène est stable, plus marqué dans certaines populations, et il gonfle mécaniquement les scores sur les dimensions dont tous les items sont formulés dans le même sens.

La parade est simple et pas toujours appliquée : formuler une partie des items dans le sens inverse, de sorte qu'approuver signifie tantôt un pôle, tantôt l'autre. Le test de profil émotionnel de cette maison procède ainsi, avec une répartition explicite par dimension.

Certaines personnes utilisent volontiers les bornes, d'autres se tiennent au centre. Cette préférence est stable chez un même individu et varie fortement d'une population à l'autre, ce qui rend délicates les comparaisons entre pays.

Elle produit un artefact désagréable : une personne au style extrême paraîtra plus marquée sur toutes les dimensions, y compris celles où elle ne se distingue pas. Les corrections existent, elles supposent de disposer de l'ensemble des réponses et d'accepter de transformer les scores.

Le biais le plus insidieux ne tient pas au format mais au sens des mots. Se déclarer plutôt calme suppose une comparaison avec un entourage, et cet entourage n'est pas le même pour tous. Deux personnes également posées, l'une entourée de gens réservés, l'autre de gens démonstratifs, ne cocheront pas la même case.

Ce mécanisme explique des résultats de comparaison internationale contre-intuitifs, où les populations réputées les plus disciplinées se déclarent les moins disciplinées. Chacun se compare à ses voisins, pas à l'humanité.

Un score n'est jamais une quantité absolue. Il est une position par rapport à un échantillon, obtenue par un format qui transporte ses propres effets, et assortie d'une marge d'erreur rarement affichée.

La conséquence pratique tient en une phrase : un écart de quelques points entre deux dimensions ne signifie rien. Un rapport honnête commente les positions nettes, tait les écarts minimes, et dit sur quel échantillon il se prononce.