Lire une enquête commandée par une entreprise

La distinction décisive n'est pas la taille de l'échantillon mais son mode de constitution. Un échantillon probabiliste tiré d'une base de sondage n'a pas les mêmes propriétés qu'un panel de volontaires inscrits en ligne.

L'exemple classique reste celui du Literary Digest, qui interrogea en 1936 plusieurs millions d'Américains et se trompa sur l'élection présidentielle, quand des échantillons bien plus petits mais mieux construits l'avaient correctement anticipée. Un grand nombre de réponses ne corrige pas un mauvais recrutement.

Les panels en ligne sont utilisables et largement employés, y compris par des instituts sérieux, à condition que la méthode de redressement soit décrite. Leur absence de description est le premier signal d'alerte.

Une enquête commandée par une organisation ayant intérêt à un résultat n'est pas nécessairement faussée, mais le choix des questions posées et celles qui ne le sont pas relèvent du commanditaire. Un éditeur de logiciel de télétravail et une société d'immobilier de bureau ne choisiront pas les mêmes questions sur le même sujet.

Le biais le plus fréquent n'est pas la manipulation des réponses mais la sélection des résultats publiés : les items favorables sont mis en avant, les autres figurent dans le rapport complet, quand il est publié.

Les travaux méthodologiques sur les effets de formulation sont anciens et robustes : un même fait interrogé en termes différents produit des écarts de plusieurs dizaines de points. Dès 1941, Donald Rugg montrait qu'« interdire » et « ne pas autoriser » ne recueillent pas les mêmes réponses, et Howard Schuman et Stanley Presser ont systématisé ces expériences en 1981.

Un chiffre cité sans la question exacte qui l'a produit n'est donc pas interprétable, et la présence du questionnaire complet dans la publication est un bon indicateur de sérieux. L'ordre des questions compte aussi : une question précédée d'items sur les difficultés du travail n'obtient pas les mêmes réponses que posée en ouverture.

Un taux de réponse faible n'invalide pas une enquête mais expose au biais de sélection, les répondants différant des non-répondants sur les dimensions mesurées. Les travaux de Robert Groves, au milieu des années 2000, montrent que ce biais dépend moins du taux lui-même que du lien entre la décision de répondre et le sujet traité.

Les publications sérieuses indiquent ce taux et les redressements appliqués. La plupart des études commandées ne le font pas, ce qui empêche d'évaluer l'ampleur du problème. En France, la commission des sondages ne contrôle que les enquêtes électorales, et les études sur le travail ne relèvent d'aucun contrôle comparable.

Sur presque tous les sujets du travail, une source publique existe : enquêtes emploi, enquêtes conditions de travail, données administratives de paie et de mouvements de main-d'œuvre.

Elles sont plus lentes à paraître et moins spectaculaires, ce qui explique leur moindre reprise. Elles fournissent en revanche des séries comparables dans le temps, ce que les études ponctuelles ne permettent jamais.