observatoire des sondages

Premier bilan après la réforme des sondages

mardi 12 juillet 2016

Plus de deux mois après la réforme des sondages du 25 avril 2016 [1], il est déjà temps de faire un premier bilan. La simplicité des dispositions facilite l’exercice. Le corpus de sondages publiés depuis fin avril et relevant de la loi est suffisamment conséquent pour savoir si les sondeurs la respectent et quel usage la commission des sondages fait de ses quelques nouvelles attributions.

- 1. Bilan comptable

C’est le point le plus facile à vérifier. D’après notre décompte depuis le 25 avril 2016, parmi les sondages publiés 36 relèvent de la loi remaniée, c’est à dire « publiés, diffusés ou rendus publics sur le territoire national, portant sur des sujets liés, de manière directe ou indirecte, au débat électoral » (art. 1, alinéa 2) [2]. Certaines informations les concernant doivent donc être en possession de la commission pour publication sur son site internet accessible librement à tout un chacun.

Est-ce que tous les sondages visés par la nouvelle loi, qui ne se limitent donc pas aux seules intentions de vote, lui ont été adressés ? A ce jour la réponse est non. 14 sondages (dont un d’intentions de vote) au moins manquent « déjà » à l’appel ? (cf. tableau ci-dessous). Une proportion importante par rapport au total publié sur le site de la commission (pour les amateurs de chiffres : 38,8%) qui recense « seulement » 22 enquêtes dont 14 sur les intentions de vote.

On notera par ailleurs quelques erreurs. Ici une date de publication erronée [3], là une notice publiée deux fois mais sous un autre nom [4], ce qui semble indiquer que la commission :

- n’a pas connaissance même factuellement des sondages publiés dans la presse ou sur le site des entreprises de sondages.
- s’en remet à la bonne volonté des sondeurs qui lui communiquent ce qu’ils veulent bien lui donner.
- ne regarde pas ce qu’on lui transmet.

- 2. Commanditaire n’est pas payeur

Autre point important apporté par la réforme, les notices des sondages doivent maintenant indiquer "le nom et la qualité du commanditaire du sondage ou de la partie du sondage, ainsi que ceux de l’acheteur s’il est différent" (art. 2, alinéa 2). Le fait reste peu connu et peu ébruité, mais la presse française ne paie en général jamais les sondages qu’elle publie, sa santé financière ne se prêtant d’ailleurs pas, et depuis longtemps, à ce genre de dépense. Leur publication doit s’entendre comme un classique échange-marchandise, une publicité gratuite (pour le sondeur) contre une information gratuite (pour la presse). Les notices des sondeurs ne permettent toujours pas de faire apparaitre clairement la nature de leur relation avec leur commanditaire ni la distinction entre payeurs et commanditaires lorsque la liste de ces derniers ne se limite pas à des titres de presse (12 sondages sur les 22 déposés à la commission) [5].

Exemples : les groupes mondiaux de télécommunication Orange et de services informatiques et de conseil aux entreprises Saleforces sont-ils les commanditaires, et payeurs, du sondage BVA publié dans la PQR (presse quotidienne régionale) le 20 mai dernier au même titre que cette dernière ? Le doute est permis. On pouvait raisonnablement penser d’après les termes de l’article 2 que la notice du sondage lèverait ce doute. Il n’en est rien. Même constat pour les deux sondages Odoxa relatifs à la primaire à droite. Qui les a payés ? Dentsu Consulting, un groupe international (un autre) de conseils en communication et marketing, Le Parisien, la chaîne d’info en continu BFM-TV, les trois, comme le laisse vaguement supposer la mention "commanditaire" accolée aux trois noms ? Impossible d’en être certain.

Les cas de TNS-Sofres, de l’Ifop et de Ipsos avec respectivement OnePoint, Fiducial et Sopra-Steria sont plus "énigmatiques". Aucune n’est une entreprise de sondages. OnePoint et Sopra-Steria sont des groupes internationaux de services informatiques et conseil en organisation, Fiducial est spécialisé dans l’expertise comptable et le conseil financier. Tous sont associés aux sondeurs pour des opérations électorales. Et leur nom d’apparaître alors au côté du sondeur, leurs logos sur les notices détaillées voire parfois un "synopsis" de leur société [6]. Leur nom n’est pas mentionné dans les notices déposées à la commission.

- On peut donc continuer à s’interroger sur les déclarations des sondeurs sur "qui commande et qui paie". Si cela a troublé l’organe de contrôle, il n’en a rien dit. Autrement dit rien n’a changé.

- 3. Tout sondage mérite-t-il salaire ?

Les cadeaux, gratifications ou autres paiements reçus par les sondés en contrepartie de leurs réponses doivent maintenant figurer également sur la notice déposée à la commission. Une victoire en somme pour les sondeurs, la proposition de loi sénatoriale de février 2011 prônait leur interdiction pure et simple. Si les sondeurs n’ont jamais nié l’existence de cette pratique, toujours réservée aux sondages en ligne, ils refusaient d’y voir une source de biais, encore moins bien sûr les prémisses de la corruption, les sommes en jeu étant trop faibles selon eux pour avoir une influence. Comment le savent-il ? On sait pourtant que le nombre de NR (non réponse) est plus faible, et que les NSP (ne sait pas) ont quasiment disparu. La majorité des enquêtes font mention de "points cumulables pour une valeur inférieure à 1 euro pour chaque répondant (ou questionnaire complet). Formule, dans les termes et la méthode, qui est à la base de toutes les stratégies marketing de fidélisation de clientèle des supermarchés, notamment (cf. Les cartes de fidélité). Une "bonne" manière d’inciter les consommateurs à acheter, à faire ces achats au même endroit...ou à répondre aux sondages. Pas d’influence disaient-ils ? Quant aux sommes en jeu si elles sont faibles, en effet, dans un pays où la moyenne annuelle des sondages publiés s’élève ces dernières années à 1200 (cf. les bilans de l’Observatoire des sondages entre de 2012 et 2014 [7]), l’existence de "sondés professionnels" des cartes de fidélité n’est pas une simple de vue de l’esprit. Quand on sait l’importance que revêtent les sondages d’intentions de vote dans la sélection des gouvernants difficile d’imaginer que la présence d’entreprises marketing spécialisées dans "la fidélisation de client par un système de point sur internet" (comme la société Maximiles) ne soit sans conséquence sur leur légitimité.

Harris Interactive demeure le seul sondeur à déclarer ne pas payer ses sondés [8]. Faire miroiter un gain possible de 2000 euros aux personnes répondant à un sondage, assimilé à un jeu, n’est qu’une promesse. Certes, mais que le sondeur ne manquera surtout pas d’honorer même si la somme promise (elle s’élève parfois à 7 ou 8000 euros) est (toujours) à partager entre les sondés. Harris Interactive joue donc sur les mots mais paie bien sûr ses sondés.

- Quoi qu’il en soit les notices de la commission semblent attester que l’obligation est respectée. On notera toutefois que les sondeurs se gardent bien (pour l’instant) de mentionner l’existence de ces "gratifications contre réponses" dans les notices publiées sur leur site. Pourquoi tant de pudeur ? La tendance à la disparition du téléphone comme mode d’administration elle se confirme. Sur les 22 sondages enregistrés un seul, non rémunéré, a été réalisé par téléphone.

-4. Des marges sans chiffres bruts

Avant même d’y être contraints par la loi les sondeurs avaient consenti de mauvaise grâce à publier les marges d’incertitude censées correspondre aux résultats de leurs enquêtes. Depuis quelques années on a donc vu fleurir dans presque toute les notices des tableaux de marge d’erreur. Tant pis s’ils correspondent aux méthodes d’échantillonnage aléatoires, les sondeurs étant parvenus à faire croire que les méthodes par quotas qu’ils utilisaient opéraient peu ou prou avec les mêmes marges d’incertitude. Au moins ont-ils cessé d’annoter leurs tableaux d’indications dilatoires concernant la taille des échantillons de personnes effectivement interrogées, procédé grossier mais efficace, la presse s’est souvent laissée berner par les marges mises en avant. Cette dernière va-t-elle suivre les sondeurs qui généralisent également la publication des résultats sous formes de fourchettes. Rien n’est moins sûr. Pas assez "vendeur", trop d’incertitude.

Présentée comme un progrès la question de la publication des marges d’incertitudes demeure toutefois plus accessoire en termes de transparence que celle des redressements opérés sur les données brutes recueillies dans des intentions de vote. Critiquée et combattue farouchement par toute la profession, notamment lors de l’adoption de la proposition de loi sénatoriale de 2011, c’est l’une des modifications les plus emblématiques apportées par la réforme votée en avril. Le silence médiatique de la profession a pu d’ailleurs surprendre même si les manœuvres du gouvernement pour la faire capoter laisse à penser qu’il s’agissait d’un mutisme ciblé (cf. Nouvelles règles pour les sondages).

L’interprétation par les sondeurs de l’alinéa 7 de l’article 3 stipulant que chaque notice déposée doit préciser "s’il y a lieu, les critères de redressement des résultats bruts du sondage" montre que leur hostilité à la mesure est toujours aussi tenace, qu’ils respectent au sens strict la lettre de la loi. On pourrait presque y voir une provocation. L’ensemble des notices déposées fait bien état des critères de redressement, c’est-à-dire des bases à partir desquelles les échantillons et les intentions de votes brutes sont corrigés. Pour les échantillons il s’agit de la structure démographique de la population française âgées de 18 ans et plus (Insee), pour les intentions, le souvenir du vote aux élections antérieures (présidentielle de 2012 et pour certains sondeurs les régionales de 2015). Jusque-là, aucune nouveauté. Il manquait les chiffres. Pour les échantillons de sondés, ils sont produits, les bruts sont indiqués ainsi que les pourcentages redressés. Mais dès qu’il s’agit des bruts d’intentions de vote, objet du sondage, l’élément le plus important visé par la nouvelle loi, celui que les sondeurs ont toujours refusés de publier sous prétexte qu’il s’agissait d’un "secret de fabrication" : c’est le vide. Certains comme l’Ifop consentent parfois à publier les souvenirs de votes des élections précédentes accompagnés du résultat réel des scrutins. Les critères de redressement s’apparentent alors à un jeu de devinette impossible car rien ne permet de comprendre comment ses souvenirs ont été pris en compte pour aboutir aux résultats publiés.

Seul Opinionway qui avait signifié durant la campagne présidentielle de 2012 qu’il n’était pas hostile à cette publication a déposé "ses bruts" à la commission. Sa méthode est certes curieuse car il redresse les intentions de vote à la primaire de droite en s’appuyant sur le dernier scrutin présidentiel où ne figurait, excepté Nicolas Sarkozy, aucun autre candidat à la primaire. Il n’en demeure pas moins le seul sondeur à respecter la nouvelle législation. Ipsos, le sondeur actuel du Cevipof a opté comme les autres pour une lecture « minimaliste » de la loi.

- Est-il besoin de préciser que les parlementaires qui ont voté ces nouvelles dispositions et a fortiori les sénateurs qui les avaient adoptées à l’unanimité il y a 5 ans, n’ont jamais conçu ou envisagé la publication des redressements comme une simple description de la méthode mais bien comme la publication des intentions de vote brutes et redressées avec des coefficients de redressement chiffrés, permettant de "passer" d’un chiffre à l’autre.

- 5. Conclusion

Le bilan est donc négatif. Le non-respect de la nouvelle loi par les sondeurs, car il s’agit bien de cela, n’est pourtant pas une surprise. Le silence complet de la commission non plus, malgré l’ampleur des entorses.


[1Date de sa promulgation.

[2Ce chiffre est indicatif, la publication des sondages sur le site internet de certains sondeurs n’étant pas toujours fiable voire impossible à utiliser.

[3Cf. juillet 2016 : 8025 PrimD TNS le figaro (paru le 30 juin 2016).

[4Cf. 8016 Prim G TNS 17 Juin 2016 et 8015 Notice publiable Prim G TNS 17 Juin.

[58006 Prim D Odoxa-Le Parisien-BFM 3-05
8008 pres ifop Sud radio 12-05
8009 pres TPE Ifop fiducial 12-05
8010 pres BVA PQR 20-05
8011 Prim ifop Paris Match 24 mai
8013 Pres IPSOS CEVIPOF V4
8014 Pres Débélect TNS TF1 12 juin pub
8016 Prim G TNS 17 Juin 2016
8018 Pres ifop PM 21 juin
8022 Prim D Odoxa Le parisien 26 juin 2016
8025 PrimD TNS le figaro
8026 Primaire D Ipsos le monde V5

[6Si Fiducial commande et paie à l’Ifop des enquêtes puis plus de 15 ans (cf. Le premier baromètre Ifop-Fiducial des TPE). Les collaboration de TNS Sofres-OnePoint et de Ipsos-Sopra Steria sont elles plus récentes, cf. TNS Sofres, communiqués de presse, 28 octobre 2015, Sopra Steria, communiqués de presse, 17 mars 2014.

[7Le bilan 2015 est en cours d’élaboration.

[8Cf. 8027 Pres HI Marianne 08:07.

Lire aussi

  • Sonder les mineurs (suite)

    28 juin 2024

    Après la présentation falsifiée d’un sondage sur une population de mineurs ([Sonder les mineurs
    >http://www.observatoire-des-sondages.org/sonder-les-mineurs]), il reste à évoquer les problèmes (...)

  • La boussole après le réverbère

    12 mars 2017

    On connaît cette fable du réverbère qui illustre l’inhibition méthodologique : lorsqu’on dispose d’un instrument, il faut l’utiliser même s’il n’est pas adapté à la question.
    Ainsi, l’ivrogne cherche-t-il (...)

  • Les Français hostiles à la réforme du droit du travail, pourquoi ?

    26 mai 2016

    Encore une fois, les Français seraient hostiles à la loi El Khomri. Massivement. Cette fois, les sondages vont en renfort des manifestants et non du gouvernement.
    Il est tout à fait possible que (...)