Comment ne pas introduire de biais dans vos enquêtes

Le CESP (Centre d'étude des supports de publicité) audite les études d’audience des médias et de mesure de leur efficacité. Sa directrice générale, Valérie Morrisson nous explique pourquoi le CESP publie aujourd’hui une note qui alerte sur la qualité des sources de recrutement pour les études d’audience, avec une liste de bonnes pratiques.

CB News : Pourquoi ce sujet est-il crucial pour les concepteurs et utilisateurs de ces études ?

Valérie Morrisson : Les instituts d’études sont aujourd’hui confrontés à une baisse de la joignabilité pour les enquêtes par téléphone, particulièrement chez les jeunes et les CSP-. Cela a un impact pour les utilisateurs car le coût des études se renchérit du fait de cette difficulté croissante à joindre les répondants puis à les convaincre de répondre. Dans ce contexte les instituts ont recours à de nouvelles sources de recrutement (access panels, viviers d’adresses propriétaires, agrégateurs de fichiers…). Il est important de s’assurer que cela n’introduit pas de nouveaux biais qui auraient un impact sur les résultats d’audience.

CB News : Vous proposez une liste de bonnes pratiques à suivre à divers moments de l’intégration de nouvelles sources de recrutement. Pouvez-vous donner quelques exemples et expliquer le risque encouru si elles ne sont pas suivies ?

Valérie Morrisson : En effet, le CESP, avec l’aide de son Comité Scientifique, a établi une liste de bonnes pratiques ainsi qu’une check-list de critères de qualité, pour évaluer la qualité des sources de contacts. Nous l’avons fait dans le cadre des études d’audience car c’est le cœur de notre travail d’audit, mais de nombreux critères sont pertinents pour d’autres types d’enquêtes aussi. Je peux vous citer deux exemples de bonnes pratiques lorsque des sources qualifiées, c’est-à-dire des listes de contacts préidentifiés qui ont donné leur accord pour être réinterrogés par opposition à un échantillon aléatoire, sont utilisées. La première est de limiter la part de ces sources qualifiées parmi les sources de recrutement, car le profil des individus dans ces sources peut être typé : « chasseur de primes » s’ils sont récompensés financièrement à chaque fois qu’ils répondent à une enquête, « intéressés par le sujet de l’enquête » dans la mesure où les panélistes peuvent choisir les enquêtes auxquelles ils répondent ou ont déjà été interrogés sur le même sujet, ou encore « expert des enquêtes » qui répondent plus vite aux questionnaires. Le risque est alors d’impacter la représentativité de l’échantillon.

Autre exemple de bonne pratique si différentes sources de recrutement sont utilisées, c’est de maintenir le poids de ces différentes sources dans l’échantillon proche d’une année sur l’autre. Un manque de vigilance sur ce point peut amener un risque de mauvaise interprétation des évolutions des audiences. En effet une évolution des niveaux d’audience pourrait venir du fait qu’une source, présentant un biais spécifique (cible plus lectrice d’un certain type de presse, plus petite téléspectatrice par exemple), a vu sa part fortement augmenter dans l’échantillon entre deux années. Dans ce cas l’évolution constatée ne correspondrait pas à une réelle évolution des comportements mais à une simple modification de la part des différentes sources de contact dans l’échantillon.

CB News : Quels sont les types de sources à proscrire et pour quelles raisons ?

Valérie Morrisson : Les recrutements par parrainage sont des méthodes à exclure pour les études d’audience : l’effet « boule de neige » nuit gravement à la représentativité de l’échantillon, puisque le risque est de parrainer des personnes qui nous ressemblent et donc de réduire la diversité de l’échantillon recruté. Le Comité Scientifique du CESP recommande d’ailleurs de supprimer des échantillons ou des panels les individus recrutés via parrainage.

Pour consulter la note du CESP, c’est par ici.