Questions inversées : le garde-fou contre les réponses automatiques

Quand une série d'affirmations se suit, une part des personnes tend à approuver plutôt qu'à désapprouver, indépendamment du contenu. Ce penchant, appelé acquiescement, est renforcé par la fatigue, par la longueur du questionnaire et par la politesse ordinaire, qui rend l'accord plus confortable que le refus.

Le problème est qu'un questionnaire dont toutes les affirmations vont dans le même sens ne permet pas de distinguer une personne qui approuve par conviction d'une personne qui approuve par automatisme. Les deux produisent exactement le même score, et rien dans le résultat ne signale la différence.

S'y ajoute un effet de position : les dernières questions d'un long questionnaire reçoivent des réponses moins réfléchies que les premières. Un test qui place toutes ses questions d'une même dimension à la fin mesure donc cette dimension moins bien que les autres.

Sur une même dimension, on écrit une partie des affirmations dans un sens et une partie dans l'autre, puis on inverse les réponses aux secondes avant de les additionner. Une personne cohérente approuve les unes et désapprouve les autres, ce qui donne un score net. Une personne qui approuve tout se retrouve mécaniquement au centre, ce qui est le résultat honnête.

L'inversion a un effet secondaire qu'il faut connaître : répondre la même chose partout ne produit pas un profil extrême, mais un profil neutre. C'est logique, et c'est une bonne nouvelle pour la qualité de la mesure, même si cela déçoit parfois la personne qui a répondu vite.

Elle permet aussi de repérer les réponses incohérentes : quand quelqu'un approuve à la fois une affirmation et son contraire, l'information est précieuse. Elle signale une lecture rapide, une ambivalence réelle, ou une question mal comprise, et ces trois cas méritent d'être distingués.

Une inversion mal écrite fabrique du bruit. Les négations doubles sont à éviter, car elles créent des erreurs de compréhension qui ressemblent à des incohérences d'opinion. La bonne pratique consiste à formuler la position opposée de façon affirmative, dans un vocabulaire aussi neutre que celui de l'item d'origine.

Il faut également veiller à ce que les deux versants soient également défendables. Si l'un des deux sens est écrit dans des termes désagréables, l'inversion mesure la réticence à se reconnaître dans une formulation, et non la position elle-même.

Elle ne corrige pas les styles de réponse extrêmes : une personne qui n'utilise que les bornes de l'échelle reste mal mesurée, même avec des items inversés. Elle ne compense pas non plus un nombre d'items insuffisant.

Elle ne protège pas contre la réponse stratégique, celle d'une personne qui cherche à obtenir un profil particulier. Aucun dispositif n'y parvient réellement dans un test volontaire, et il est plus honnête de le dire que de prétendre l'inverse.

Deux gestes améliorent nettement la qualité de son propre résultat : lire chaque affirmation jusqu'au bout, y compris quand elle ressemble à la précédente, et accepter d'utiliser toute l'échelle plutôt que de rester autour du centre.

Et si un profil vous paraît étonnamment neutre alors que vous vous sentez tranché, la première hypothèse à examiner n'est pas un défaut du modèle : c'est la vitesse à laquelle vous avez répondu.