observatoire des sondages

Commission des sondages : le ver est dans le fruit

vendredi 3 février 2023

Le 18 janvier 2023 la commission publiait le dernier rapport d’activité de sa mandature relatif à la présidentielle et aux législatives. Le jour (une coïncidence ?) où le Canard Enchainé annonçait la démission d’Alain Garrigou, intervenue quelques semaines auparavant. Professeur de science politique, auteur critique reconnu dans le champ académique, fondateur en 2008 de l’Observatoire des sondages, il était sans doute le seul des neufs membres de cette petite institution devenue cardinale à être compétent scientifiquement sur les enquêtes d’opinion. C’est cette raison, du moins pouvait-on aussi le supposer, qui avait justifié en avril 2017 sa nomination. Apporter un peu de connaissance, d’esprit critique et donc une distance minimum à l’égard d’entreprises marchandes dont la commission doit, selon la loi, s’assurer qu’elles n’entravent pas les processus électoraux avec leurs produits en « accès libre » et ne portent pas atteinte à la sincérité du vote. Mission impossible ? Au vu de l’histoire de cette autorité administrative le doute était bien sûr plus que permis, quoi qu’il en soit c’est raté. Cette ultime goutte d’eau la « bête noire des sondeurs » (titre du Canard) ne la boirait pas. Qui pourrait raisonnablement s’en désaltérer ?

Trente pages, interligne double. Nous n’aborderons ici que les points les plus discutables, les affirmations les plus fantaisistes voire risibles, confirmant son goût immodéré, qui l’est moins, pour le psittacisme. Ce qui peut faire rire chez un perroquet, peut-il produire un tel effet dans le cas d’une autorité de contrôle des sondages électoraux parlant comme les industriels de l’opinion et les politologues qui collaborent avec eux ? La réponse (la nôtre) est dans la question et dans les lignes qui suivent.

Si l’inculture scientifique, toute discipline confondue de la haute fonction publique française, de la noblesse d’Etat et plus généralement de la majorité des politiques est un sujet d’inquiétude récurent et une question cruciale [1], l’indolence de la commission, composée essentiellement de juristes et conseillers d’Etat, ses lacunes logiques, ses contradictions, etc. ne devraient plus surprendre [2]. Et pourtant.

Décompte final

On ne l’attendait plus tellement sa publication est tardive. Le décompte officiel fait état de 467 sondages relatifs à l’élection présidentielle de 2022 [3]. Un chiffre en baisse par rapport à 2017 assure la commission - 560 avaient été comptabilisés, idem pour les législatives qui ont suivi, 47 contre 58 en 2017. Une "réduction" ou une "pause" en relation avec l’absence de primaire comme elle le suggère. Soit. Vu les quantités en jeu "l’effet de saturation", évoqué ponctuellement à propos du rolling poll de l’Ifop, ne risque pas de se dissiper.

On ne la blâmera pas outre mesure pour ses oublis. CSA, propriété de V. Bolloré (soutien de E. Zemmour) s’est rarement plié à l’obligation de transmettre ces "enquêtes" pousse-au-crime diffusées en pleine campagne électorale sur Cnews (également propriété de V. Bolloré). Les sondeurs ont depuis longtemps abandonné la publication systématique de leurs notices détaillées. La presse s’en moque. La commission demeure donc le seul lieu où elles sont encore accessibles. C’est l’une de ses attributions. Il est néanmoins affligeant qu’elle soit toujours incapable d’assurer leur publication dans un délai raisonnable.

Un aspect loin d’être anodin car si les sondages électoraux ont une date de péremption courte, ils ne sont pas sans conséquence ou sans effet comme l’ont trop longtemps prétendu les sondeurs. Ils sont multiples et variés : de la sélection des candidats, au travail éditorial de la presse et la composition des plateaux télé, en passant par "l’orientation" des électeurs ("vote utile"). Certains politiques ont même souhaité en faire une base légale de l’investiture à la présidentielle (E. Zemmour, F. Bayrou). Les spin doctors s’en servent comme d’une arme politique. Le déni des industriels de l’opinion est-il devenu trop difficile à soutenir ? Peut-être. Mais les interventions de la commission sont tellement rares ou anecdotiques et discrètes que la publication de ces notices, des jours voire des semaines après celle des sondages, demeure dommageable pour leur examen critique, pas seulement le nôtre.

Les marges d’erreur, une question "mineure"

L’insistance du sénateur J.P. Sueur [4] sur la publication des marges d’erreur a certes fini par payer. Il ne s’agit pourtant que d’une question mineure. Nous ne reprendront pas ici les critiques des statisticiens sur la valeur de celles des sondeurs français alors qu’ils recourent tous à la méthode des quotas. La commission fait confiance à leur bricolage. Soit. Elle déplore en revanche que la presse dans son ensemble ne se plie pas à l’obligation de les publier. Doux euphémisme doublé d’hypocrisie. Qui peut imaginer sérieusement que des médias drogués à la politique et aux élections à la mode Paris-Turf soient sensibles à ses "jappements" volontairement inaudibles ? Les sondeurs le savent très bien d’où leurs réticences initiales : publier des "fourchettes" peut sensiblement réduire les effets d’annonce et le suspens dont la presse est friande en relativisant les évolutions infimes à l’intérieur de ces fourchettes. Retirant de fait tout intérêt aux dites évolutions comme "information". Sauf à répéter tous les jours la même chose. Or qui se priverait avant une élection de commenter des écarts de 2 ou 3 % (quand ce n’est pas moins) dont chacun s’accorde à reconnaître qu’ils sont statistiquement insignifiants. La presse ? On peut toujours rêver. Les sondeurs ? Il est des cas où rêver est impossible (cf. « L’opinion en temps réel », les doxosophes s’enfoncent dans la misère). Presse et sondeurs travaillent de concert, les lamentations de la commission ne sont, au mieux, qu’un leurre.

Intentions de vote et hypothèses impossibles

L’obligation relative aux marges d’erreur serait elle respectée qu’un problème autrement plus important demeure. Jamais évoqué, si ce n’est sous le terme de "cristallisation" (du vote ou de l’offre politique) devenue un nouveau cache sexe de l’imposture des doxosophes tant ils en usent sans en tirer les conséquences. Des sondages d’intentions de vote, enregistrent-ils tous des intentions de vote ? Loin s’en faut. La presse reconnait, enfin, que pour les plus éloignés du scrutin les résultats sont "loin du compte". Pourquoi ? On connait le refrain sur la volatilité des intentions : les électeurs changent d’avis. Admettons. Ses avis sont-ils tous des intentions de vote ? Même réponse : non. On rappellera qu’elles reposent systématiquement sur un scrutin fictif : celui de l’inoxydable "dimanche prochain". Les sondés ne sont pas dupes, répondent-ils tous à la question posée ? Non. Ce biais bien connu ne se limite pas évidemment aux seules questions des référendums. Le rapport de force politique ou la photo à un instant T (autres caches sexes "exhibés" ad nauseam) sont donc tout aussi fictifs que le scrutin et les "intentions". De pures conjectures, leur degré de réalité est égale à zéro ou presque.

Mais il en faut plus pour dissuader le négoce des sondages de cesser sa tromperie sur la marchandise. Puisqu’il s’agit bien de cela : faire passer des choses (des avis, des ressentis, des humeurs, des coup de têtes, etc.) pour ce qu’elles ne sont pas, ou pas tout le temps, ou pas pour tous les sondés. Quand l’offre politique n’existe pas ou est impossible le doute plus que raisonnable n’est plus permis. Sauf pour la commission, mais elle n’en doute pas ou plus. En octobre 2021 elle est revenue sur sa proscription des sondages de second tour ne respectant pas les résultats du premier [5]. Ce qu’elle considérait comme auparavant comme une manipulation l’est plus comme, par enchantement [6]... Les deux justifications apportées dans ce nouveau rapport sont consternantes à tout point de vue, contradictoires, naïves, malhonnêtes... difficile de faire la part des choses. Au moins ont-elles le mérite d’être claires.

Du bien être, des politiques, de la presse et des sondeurs

- "les partis comme les commentateurs ont besoin d’une mesure de l’efficacité au second tour « du troisième homme », voire de tout candidat nouveau. Aucune raison impérative ne s’oppose à ce que les acteurs de la vie politique bénéficient de telles indications, et renvoyer de tels sondages à la clandestinité n’apparaît pas comme un progrès du contrôle, ni comme un gage de sérénité de la campagne".

Se préoccuper des besoins des commentateurs de QCM et des politiques qui les traquent et veiller à les satisfaire ? Voilà une conception bien charitable mais peu orthodoxe pour une instance de contrôle et une singulière interprétation de la loi de 1977 et de ses réformes. Gageons que les deux "champions" (sic), V. Pécresse ou E. Zemmour, pour ne se limiter qu’à eux, ont été touchés par cette attention pour qu’ils figurent eux aussi au deuxième tour de la présidentielle et disputent la victoire finale [7]. Cette préoccupation manquait manifestement cruellement de détermination, inutile de rappeler les scores réels (au premier tour) de ses deux candidats. Rappelons en outre qu’en évoquant la clandestinité des sondages, en fait les sondages confidentiels, la commission se mêle de ce qui ne la regarde pas. Ces derniers existent indépendamment de ceux publiés et qu’ils ne relèvent pas de sa compétence comme elle l’a rappelé par le passé (un oubli ?).

Autre "défaut" de cette attention, elle est assurément sélective. Où sont donc passés les citoyens/électeurs ? Aucune trace d’eux dans le rapport. Ont-ils vraiment "besoin" d’être submergés à longueur de temps par des informations fantaisistes ou d’autant plus improbables qu’elles sont fausses. Ces mesures fictives contribuent-elles à assurer ou préserver autant que faire se peut la sérénité des périodes électorales et plus généralement la vie politique, à garantir la sincérité du vote ?

- La seconde raison de cette souplesse est consubstantielle à la réserve qu’il convient d’avoir quant au caractère prédictif des sondages, particulièrement lorsqu’ils sont administrés longtemps avant l’échéance électorale. Des candidats qui, à neuf mois d’une élection, ne sont pas « donnés d’avance » au second tour par les sondages peuvent en pratique y parvenir. L’exemple de l’actuel Président de la République et des estimations de vote dans les sondages un an avant sa première élection en sont une bonne illustration.

Amen ! Si les sondeurs ne croyaient pas aux anges les voilà détromper. Pourquoi faudrait-il s’émouvoir de la publication en tout temps d’un concentré de biais de toute nature, de pseudos chiffrages électoraux, sans élection, sans candidat, sans intention, "déconnectés du réel" ? La vie n’est-elle pas faite d’événements qu’on n’imaginait pas ou que l’on pensait impossibles. Croire en sa bonne étoile ou à la fortune d’un autre, ou à n’importe quoi d’autre est-il proscrit ? On ne pourra pas reprocher à la noblesse d’Etat de ne pas faire d’efforts pour rester en phase avec les réalités de "son temps", l’ère des fake news et autres post-vérités, en y contribuant.

Des experts dans le poulailler

Refusant d’endosser le rôle de caution des sondeurs, ce qui ne manque pas de sel pour une institution qui ne cesse de répondre favorablement aux désidérata de la profession, la commission souhaite pouvoir refuser la publication des notices évoquées plus haut. Celles des entreprises qui ne respecteraient ni la déclaration préalable ni les règles méthodologiques requises par ses deux experts. Elle s’adresse ce faisant essentiellement aux nouveaux entrants, mais vise en particulier sans le nommer le sondeur Cluster17. Un nouveau venu dans le cercle des sondeurs médiatiques qui a refusé de se plier à ses injonctions. Autrement dit les sondeurs installés pourront, sans risque d’être inquiétés, continuer à faire comme bon leur semble, et appliquer leur méthodologie pas moins contestable que celle reprochée à Cluster17 [8].

Qui sont donc les deux experts dont parle la commission, qu’elle remercie par ailleurs chaudement et à qui elle confie, on l’aura compris, l’intégralité de son travail de contrôle ? Si leur noms figurent dans la listes des personnes affectées au "service de la commission" ils n’en sont pas membres stricto sensu. A quel titre s’occupent-ils de l’examen et de la critique des sondages ? Qualifiés d’experts indépendants, une information un peu maigre, qui les a choisis, pour quelle autre raison et depuis combien temps opèrent-ils ? A part la présidente [9], à notre connaissance aucun des membres officiellement nommés ne le sait vraiment. C’est fâcheux même si le rôle de potiches qui leur est dévolu n’est pas spécifique à cette organisation. Si l’on sent tient aux discours et à l’activité de la commission ces deux experts sont à l’évidence sensibles et réceptifs à la rhétorique et aux pratiques des doxosophes professionnels. Des habitués, des familiers ? Des indices semblent l’indiquer, du moins pour l’un d’entre eux (cf. Un tout petit monde). Quoi qu’il en soit ce serait au minimum une faute méthodologique que de ne pas l’envisager sérieusement.

De fait, à part le déplorer, on ne saurait être étonné du sort réservé à la panelisation des échantillons qui fait suite à l’enquête critique du journal Le Monde (cf. "Dans la fabrique opaque des sondages", 4 novembre 2021). Une référence pourtant en doxosophie, partenaire "historique" d’Ipsos et du Cevipof, qui n’ont pas apprécié l’exercice. ici, la commission (et les experts qui ont "inspiré" le rapport) reprend longuement les arguments des panélistes. Des nouveaux venus pour elle. Entreprises commerciales, elles aussi, maillon essentiel pour les sondeurs qui leur ont abandonné une partie de leur "cœur de métier" : l’élaboration et la gestion des échantillons de sondés.

Pour exemple, "l’effet panel", un biais connu depuis longtemps [10], dénoncé y compris par ceux qui maintenant ont recours aux panels, n’est plus. Comme par enchantement là encore ? Leur rémunération est jugée trop faible pour constituer un biais. Faux. La rémunération des sondages s’est développée pour endiguer l’augmentation alarmante (pour les sondeurs) des refus de répondre. La commission n’a toujours pas compris à défaut de l’accepter que le défaut de représentativité de ces "armées" de réserve, quelque soit le nombre de leurs divisions, procède de la nature de ceux qui les composent : des recrutés volontaires. Il est toujours plus facile d’accorder sa confiance quand on n’y connait rien. Que la commission considère que les assurances des panélistes permettent de lever les doutes récurrents sur l’identité effective du répondant en est une bonne illustration.

Entresoi, entre amis...

Les affinités de la commission avec les sondeurs et la doxosophie sont anciennes, mais elle n’a cessé durant cette mandature et la précédente de les entretenir et les renforcer. Si ses manifestations publiques sont rares, les deux colloques qu’elle a organisés en dix ans, seule ou accompagnée, (avril 2013 et octobre 2018) livrent suffisamment d’éléments concordant pour mieux appréhender la nature des relations établis au cours du temps avec les "acteurs" du cercle politique (sondeurs, journalistes et politiques) [11]. Hormis la présidente de la commission et certains de ces membres, on retrouvent parmi les invités et discutants, les sondeurs qui "comptent", des parlementaires, des journalistes, des panélistes, et enfin les universitaires doxosophes du Cevipof. L’un d’entre eux co-organisateur du colloque d’octobre 2022, porte même deux casquettes : parlementaire et politologue au Cevipof... Un tout petit monde dirait D. Lodge qui, à défaut de n’être composé que d’amis, se connait bien, depuis longtemps, et s’invite à débattre des sondages. Le thème du dernier ? "Les sondages : défi ou opportunité pour la démocratie". Pour les connaisseurs de l’institution, un titre à la Science-Po.
Qui imagine l’administration fiscale s’inquiétant du bien être des contribuables, discuter et débattre avec eux de taux d’imposition, de pression ou "d’optimisation" fiscales ?

Il ne s’agit pas de corruption, ni de trafic d’influence, ni autre malversation de ce type, mais de relations sociales très "banales", faites de rencontres et d’échanges, de coups de téléphone, de courriers, de déjeuners ou diners (à l’occasion de la rédaction d’un rapport annuel, à l’approche d’une échéance électorale importante, d’un colloque, etc). La régularité et la durée importent ici plus que la fréquence [12]. En science politique on parle "transactions collusives" pour qualifier ce type de relations [13]

La commission impossible

La commission ne souhaite pas, de la bouche même de son actuelle présidente "faire la police". Qui a dit que les conseillers d’Etat n’avaient pas d’humour ? Curieux toutefois qu’il faille rappeler que faire la police ne se résume pas à placer des gens en garde à vue ou à matraquer des manifestants "agités". Au moins le Qatar ou la Russie sont-ils prévenus. Pour les élections à venir ils peuvent commanditer tous les sondages biaisés qu’ils désirent ou user d’usines à trolls pour tenter de noyauter des échantillons, la commission n’y verra que du feu, s’en moque, ou croit cette hypothèse là impossible... Ce qui revient au même. Le scandale "Cambridge analytica," nom de la société qui a pu accédé sans leurs autorisations grâce à Facebook aux données personnelles de 87 millions de ses utilisateurs - au profit de la candidature D. Trump - serait donc un non événement. Comme l’acceptation par Facebook de payer fin décembre 2022 la somme de 725 millions de dollars à la justice américaine pour échapper à un procès [14]. Les préparatifs du réveillon sans doute. Manifestement bien arrosé.

- La commission des sondages note que c’est avec raison que la France se dote à chaque élection de dispositifs de veille pour éviter l’influence délétère qu’une puissance étrangère hostile pourrait exercer sur nos élections, mais c’est avec
amertume que l’on note que certains médias de pays voisins interviennent de façon répétée, en contrariété avec l’un des principes majeurs des élections : le calme, le silence dans lequel le corps électoral doit forger sa volonté
.

Si on a rarement vu une autorité administrative oublier de s’adresser des satisfécits, on peut demeurer pour le moins perplexe face l’idée que la commission se fait d’elle-même et de son action : un mur anti bruit, assurant le calme (elle a oublié "tranquillité") gardienne du silence, pour que les citoyens puissent en toute sérénité se forger une opinion. La presse française comme les sondeurs seraient donc rester silencieux ou presque, aucun brouhaha n’a été perçu, aucune entreprise d’influence qui n’a su être déjouée, le cirque médiatique français faisait donc relâche. Le bruit (et l’odeur ?) de la présidentielle et des législatives ne serait donc que l’oeuvre de "puissances étrangères"... il fallait oser. Poutine ne lira certainement ce rapport. Mais où était donc la commission durant les 6 mois (minimum) qui ont précédé les scrutins ?

Cette nouvelle année est la dernière pour l’actuelle commission, du moins pour les membres officiels. Une nouvelle devrait être nommée avec les "beaux jours". Si l’on a bien compris sa présidente, tout peut arriver. Même si elle n’est pas reconduite (probablement) une fois encore dans ses fonctions ? Sans parler de changement radical, un infléchissement, fut-il léger, de son attitude et de sa jurisprudence en faveur des sondeurs serait donc possible. Mais on connait le dicton : à l’impossible nul n’est tenu. Quant à sa suppression pure est simple, qui ne serait pas déraisonnable...


[1Cf. à ce propos l’audition d’Yves Bréchet (polytechnicien, professeur des universités et actuellement conseiller scientifique de Saint-Gobain) par la commission d’enquête parlementaire sur « Souveraineté et indépendance énergétique de la France » : ces constatations sont autant de signes que l’analyse scientifique et technique a déserté les rouages décisionnels de l’Etat sur ces sujets (extrait, https://www.youtube.com/watch?v=L0ZX3moD_mQ à partir de 28’ 51".

[2Cf. mots clés « régulation des sondages et commissions des sondages »

[3Ne se limite pas aux seules intentions de vote stricto sensu.

[4Ancien président de la commission des lois du Sénat.

[6cf. Rapport 2008-2009 : La commission des sondages face aux élections municipales et européennes de 2008 et 2009, p. 4-5.

[7Cf. Présidentielle : le dernier coup ?, idem pour Eric Zemmour grisé par les sondages dits d’intention de vote qui le créditaient de 16 ,17 et même 19% des suffrages au premier tour, et qualifié pour le second tour Eric Zemmour : de l’ivresse au dégrisement. Pour les précédents scrutins nous invitons nos lecteurs à se reporter à notre rubrique élections.

[8Nous reviendrons dans un autre article sur ce rare cas de « conflit ouvert » avec la commission qu’un arrêt récent du Conseil d’Etat a soulagé d’une position embarrassante. La décision finale (favorable) était, pour une fois, loin d’être d’acquise (cf. lalettreA« Le sondeur Cluster17 en bonne voie d’être réhabilité par le Conseil d’Etat », 28 novembre 2022. https://www.lalettrea.fr/action-publique_partis-et-elections/2021/10/15/commission-des-sondages--grandes-attentes-et-petits-moyens,109698811-ar2). A notre connaissance lalettreA n’a pas rendu compte de la décision finale.

[9Et sans doute le secrétaire général et le secrétaire permanent du même « service de la commission ».

[10Cf. par exemple M. Lejeune, « Il faut ramener l’activité sondagière dans le champ scientifique », Le Monde, 14 décembre 2021 ; La singulière fabrique des sondages d’opinion, L’Harmattan, 2021.

[11Cf. P. Champagne, « Le cercle politique », Actes de la recherche en sciences sociales Vol. 71-72, mars 1988.

[12C’est une des raisons qui justifient la rotation des fonctionnaires de contrôle lorsqu’ils sont jugés trop exposés. Ce n’est manifestement pas le cas des rares – ils s’en plaignent – membres actifs » de la commission des sondages (le précédent secrétaire général est ainsi resté en place plus de 18 ans).

[13Michel Dobry, Sociologie des crises politiques, Paris, Presses de Sciences Po, 1985.

[14Cf. « Trucage présidentiel. Scandale de Cambridge Analytica : Facebook accepte de payer 725 millions de dollars à la justice », Libération, 23 décembre 2022.

Lire aussi

  • Imperturbable commission des sondages

    27 décembre 2016

    La commission des sondages ne produit pas tant de rapports d’activité pour qu’on ne signale pas l’édition du dernier. D’autant plus que la presse ne lui consacre pas les premiers titres comme elle le (...)

  • Des nouvelles de la commission des sondages

    18 décembre 2015

    Dans un rapport publié le 25 octobre 2010 une commission sénatoriale sur les sondages insistait explicitement sur le problème de la passivité et implicitement sur le manque de compétence des membres (...)

  • Première intervention de la commission des sondages dans la campagne électorale

    5 avril 2012

    En pleine activité, la commission des sondages vient de publier son premier communiqué de l’année 2012 (28 mars 2012) pour faire ses recommandations : rappeler quels sont les sondages concernés par la (...)