observatoire des sondages

Bilan de la campagne présidentielle de 2012

samedi 17 novembre 2012

L’impression a été confirmée par le rapport de la commission des sondages d’octobre 2012 : l’élection présidentielle a donné lieu à plus de sondages (409) que les précédentes.

1995
2002
2007
2012
157
193
293
409

Cette nouvelle augmentation (un tiers environ) était attendue à cause de l’organisation d’élections primaires. En 2007, les élections primaires du PS avaient déjà contribué à la hausse. A ces élections [1], se sont ajoutées cette fois des primaires écologiques avec leur lot de sondages [2]. Les sondages roulants réalisés par l’Ifop ont accru le nombre de sondages puisque chaque vague a été comptabilisée (84 au total) mais Ipsos avait réalisé la même opération en 2007. Enfin, la commission des sondages a élargi la définition des sondages électoraux y incluant des enquêtes ne comportant pas d’intentions de vote mais « ayant un rapport direct ou indirect avec l’élection ». Et de citer des questions « portant sur tel candidat, tel programme électoral ou un enjeu fort de la campagne ». Il faudrait encore ajouter que la part des sondages en ligne, moins chers, a probablement favorisé l’augmentation puisque un seul sondeur utilisait cette technique en 2007 mais cinq en 2012. La proportion de ces sondages ne nous est pas indiquée. Les termes de la comparaison ayant changé, il y a donc eu plus de sondages dans l’élection présidentielle de 2012 sans qu’on puisse comparer « toutes choses égales par ailleurs » et donc sans qu’on sache si l’élection proprement dite suscite une plus grande offre. La campagne électorale s’est surtout allongée.

A son habitude, le rapport de la commission des sondages souligne ses mérites. Elle a en effet réalisé une surveillance plus étroite par « la collaboration avec les autres organes chargés du contrôle des élections, un approfondissement de la coopération avec les instituts de sondages et un profond renouvellement de son action médiatique ». La commission a par exemple développé un « mode d’intervention préventif » par l’envoi de courriers valant rappel à la loi, a obtenu la non réalisation de sondages « sortie des urnes », a obtenu que les sondeurs leur indiquent la « colonne de référence » servant au calcul des marges d’incertitude, etc. La commission a encore fait « œuvre pédagogique » auprès des médias et de l’opinion publique en organisant une conférence de presse le 20 avril 2012 et en multipliant les interventions médiatiques. Au regard des rapports antérieurs, il faut donner acte de l’effort réalisé avec des moyens toujours modestes.

Grâce en soit rendu au rapport sévère des sénateurs Sueur et Portelli qui avait évoqué la commission comme une commission "trop timide" [3], au vote de leur proposition de loi au Sénat, et donc à l’Opiniongate, qui ont joué un rôle manifestement incitateur. Du coup, l’autosatisfecit du dernier rapport de la commission relativise les satisfecits antérieurs. La commission se risque d’ailleurs ultimement à prendre parti sur les modifications légales de la loi du 19 juillet 1977. Ouverte à certains changements comme l’entrée de statisticiens dans son sein, la commission adopte une position conservatrice en déclarant « son hostilité à l’institution d’une forme de contrôle a priori ». Le travail effectué et les résultats obtenus lui semblent le meilleur argument pour s’en tenir au contrôle a posteriori. Cette position serait plus convaincante si la commission ne se contredisait pas en mettant en valeur l’efficacité de son contrôle par des recommandations aux sondeurs et aux médias (par exemple sur les hypothèses de second tour), en citant encore la pédagogie comme « meilleure façon de faire respecter la loi » (par l’intervention médiatique et par le rappel des sanctions prévues par la loi à ceux qui annonçaient vouloir la violer) et dans ses relations avec les entreprises de sondages. Ainsi, « sans que les textes l’aient prévu, la commission n’hésite pas à adresser des courriers valant rappel ou mise en demeure aux instituts ou aux organes de presse, mode d’intervention préventif au moins aussi efficace que l’intervention a posteriori (préventif) que constitue la mise au point ». Sans doute faut-il en déduire que la commission n’est pas si hostile au contrôle a priori à condition que ce soit elle qui l’exerce.

La commission n’a en effet pas varié sur l’importance de relations de collaboration avec les sondeurs. La description de leur conduite de coopération semble lui donner raison. Par exemple, avec leur renoncement aux sondages « sortie des urnes » même si ces sondages n’occupent plus la place qu’ils occupaient il y a une vingtaine d’années. On se préoccupe aujourd’hui surtout de savoir qui va gagner et guère de qui a voté pour qui. Si le « progrès » des sondeurs est bien réel, il faut aussi en créditer l’Opiniongate et la réforme sénatoriale qui n’est toujours pas à l’ordre du jour de l’Assemblée nationale. Le démarrage d’une réforme rend-il inutile sa réalisation ? On sait que c’est la position des sondeurs. Si cela s’avérait exact, on se prendrait à rêver d’un monde où les choses vont si facilement. Il est un point où l’on suivra volontiers la commission puisque nous la soutenons depuis plusieurs années : « La régulation par la prise de parole publique est particulièrement adaptée au domaine des sondages ». Et il faut l’exercer au-delà du contrôle légal de la commission des sondages. Le bilan est alors moins satisfaisant.

L’épreuve de fiabilité de 2012

Les sondages sur les intentions de vote à l’élection présidentielle servent d’épreuve toujours recommencée pour établir le crédit des sondages. Ce n’est effectivement pas le rôle d’une institution légale de s’en préoccuper mais c’est le nôtre. Les sondages se sont-ils trompés comme on l’a écrit dans une formule habituelle ?

Pour l’analyse des sondages, il est un fait passé à peu près inaperçu tant il a été surprenant au regard de la capacité de prévision des sondages pour peu qu’ils soient proches du scrutin si celui-ci est aussi simple qu’un duel. Les échecs concernent surtout les premiers tours avec une pluralité de candidatures. En France, les sondeurs les ont subis en se trompant sur les ordres d’arrivée en 1995 puis de 2002. Il faut remonter à l’élection américaine de 1948 pour relever une erreur générale sur le nom du vainqueur. A l’élection présidentielle française de 2012, il n’y a pas eu d’erreur manifeste sur l’ordre d’arrivée du premier tour même si des chiffres ont été approximatifs – sous estimés pour Marine Le Pen et surestimés pour Jean-Luc Mélenchon. Et la victoire de François Hollande a été unanimement annoncée. Pourtant, les intentions de vote du second tour n’ont pas été très justes. François Hollande était arrivé en tête, même si son avance n’avait pas été très large, le débat télévisé l’avait, selon les sondages, montré supérieur au président sortant, or il ne le précédait pas autant que les intentions de vote le laissaient prévoir. Sans parler même des écarts considérables promis plusieurs mois auparavant, avec des rapports 60/50, l’écart se situait quelques semaines avant à 54/46. Les derniers sondages annonçaient une avance plus réduite. Le score fut de 51,7 % à 48,3 %.

François HollandeNicolas Sarkozy
Ifop-Fiducial-Paris Match (sondage roulant-internet)
(4 mai 2012)
52%
48
BVA-Le Parisien (internet)
(4 mai 2012)
52,5%
47,5%
Harris Interactive-VSD-LCP (internet)
4 mai 2012
53%
47%
Ipsos-France Télévision-Radio France-Le Monde (téléphone)
(4 mai2012)
52,5%
47,5%
TNS Sofres-Sopra Group-i>télé (téléphone)
(4 mai 2012)
53,5%
46,5%
CSA-BFM TV-RMC-20Minutes-CSC (téléphone)
(3 mai 2012)
53%
47%
OpinionWay-Le Figaro-LCI (téléphone)
(3 mai 2012)
52,5%
52,5%
LH2-Yahoo (internet)
(2 mai 2012)
53%
53%
BVA-RTL-PQR-Orange (internet)
(2 mai 2012)
53,5%
46,5%
LH2-Yahoo (internet)
(2 mai 2012)
54%
46%
Ifop-Fiducial-Europe 1-Paris Match-Public Sénat (internet)
(1 mai 2012)
54%
46%
Ipsos-Logica-France Télévision-Radio France-Le Monde (téléphone)
(30 avril 2012)
53%
¨47%
Harris Interactive-VSD-LCP (internet)
(27 avril 2012)
55%
45%

Comment peut-on expliquer un tel écart ? Il convient sans doute de noter que la meilleure performance a été réalisée par le sondage roulant de l’Ifop dont la réalisation par vagues n’est pas sans poser des problèmes épistémologiques ; ce n’est pas un instantané comme disent les sondeurs à propos de ces sondages réalisés au même moment mais un essai d’enregistrer une évolution. Après tout, le résultat est là puisqu’il s’agit de prédire comme les sondeurs s’en défendent… par précaution. Faut-il donc comprendre que dans les derniers jours, il y a eu une remontée du candidat Nicolas Sarkozy qui l’a rapproché de son rival ? L’explication vaudra évidemment pour les commentateurs portés à valoriser la campagne des candidats. Et de citer explicitement l’inflexion droitière du candidat Nicolas Sarkozy sous l’impulsion de son conseiller Patrick Buisson. Cela lui aurait rapporté un ralliement plus important des voix du FN sans le priver des voix centristes acquises. Une question de tempo car l’inflexion droitière aurait-elle duré qu’elle aurait probablement repoussé les voix modérées. Un savoir-faire rudimentaire de l’élection que les spin doctors font payer bien cher aux candidats et donc aux contribuables. On sait aussi l’explication des politologues sur la volatilité du vote, selon lesquels il y aurait de plus en plus d’électeurs changeant leur vote au dernier moment. Ce qu’ils déclarent volontiers dans les sondages mais faut-il les croire ? Surtout dans des élections aussi clivées. Et si tel est bien le cas, il faut alors se méfier aussi des derniers sondages. La croyance aujourd’hui de plus en plus affirmée des citoyens dans les effets performatifs des sondages est peut-être un correctif à des effets pervers.

Il existe encore un mystère dans cet écart moins important que le laissait supposer une impopularité importante, la réussite mitigée d’une entrée en campagne avec l’échec de la tentative du croisement des courbes et le pari perdu de l’emporter dans le débat télévisé. On peut être impressionné par le score honorable d’un sortant ayant accumulé les échecs politiques, ou être impressionné par les indicateurs. La première question mérite sans doute perplexité et examen. Il ne faut cependant jamais oublier qu’une bonne partie des motivations de vote consiste moins à voter pour quelqu’un que contre quelqu’un. La seconde n’est pas moins mystérieuse : soit, le président en exercice n’était pas si impopulaire que le disaient les sondages, soit l’impopularité est une opinion à degré de réalité très variable. Il semble qu’elle amplifie les mécontentements parce qu’il faut bien croire avoir quelque chose à dire pour répondre aux enquêtes d’opinion. Elle n’impliquerait pas forcément un vote hostile.

Le rapport de la commission des sondages fait croire qu’il n’y a pas eu de problème majeur. L’évitement des sujets qui fâchent est sans doute un trait du fonctionnement des institutions mais il n’était pas sans intérêt de savoir l’objet du recours de Jean-Luc Mélenchon devant le Conseil d’Etat dont la commission ne retient que ce qui semble la conforter – sise dans les locaux du Conseil d’Etat et présidée part un membre du Conseil d’Etat, on n’en attendait pas moins – mais les attendus du Conseil n’en sont pas moins problématiques, ils ont eu besoin, pour justifier le secret des redressements, de s’en référer au droit sur le secret industriel. Ainsi le juge administratif a-t-il maintenu une définition stricte de la confidentialité des marges d’incertitude dont les sondeurs et la commission ont l’exclusivité. Au moins est-on convaincu par le talent de communicant de la commission.

Bien sûr, la campagne électorale a montré des évolutions sur lesquelles il faut le solide optimisme de la commission des sondages et sa foi dans la coopération avec les sondeurs pour ne pas les relever à moins que les courriers « préventifs » ne l’aient fait. Mais leur confidentialité excuse par avance une éventuelle injustice. Des sondages ont été faits avec des échantillons globaux très faibles (moins de 500 sondés) qui laissent dubitatifs sur la taille des sous échantillons dont la commission des sondages a demandé la publication des chiffres bruts. L’Observatoire a dû faire lui-même ces opérations à plusieurs reprises. Nous avons relevé aussi les problèmes posés par la généralisation des sondages en ligne. Sur la foi de quelles expertises indépendantes la commission des sondages leur donne-t-elle quitus ? De même qu’aux sondages hybrides menés pour partie par téléphone, pour partie par internet. Enfin, les intentions de vote aux élections législatives se sont révélées souvent très éloignés des résultats électoraux [4]. Mais c’est la question des effets performatifs des sondages que la vigilance doit être la plus grande. Or, c’est le point aveugle d’un organisme de contrôle qui est voué par sa mission mais aussi par ses croyances intellectuelles à adopter un point de vue positif sur la neutralité des techniques sociales. Les stratèges politiques seraient-ils devenus si peu inventifs ? Ainsi l’apparition massive des tweets ne saurait être pensée seulement comme une activité ludique car elle s’étend sur toute la durée de la campagne et pas seulement le jour de scrutin. On peut l’aborder par le temps fort de l’intervention des sondages dans la campagne présidentielle.

Qu’est devenu l’effet Villepinte ?

Longtemps avant le premier tour de scrutin, les sondages donnaient tous un avantage large à François Hollande. Ils amenaient le président sortant à avancer son entrée en campagne. Il était clair que la mesure des intentions de vote prenait une autre signification une fois le candidat déclaré, même s’il n’y avait guère de mystère, et une fois la campagne entamée, même si là encore, le président pas-encore-candidat était bien en campagne suscitant d’ailleurs des critiques des opposants sur les avantages de la fonction. Chacun attendait les premiers sondages suivant l’entrée officielle en campagne de Nicolas Sarkozy. Selon les conventions, cette entrée était mise en scène par un rassemblement géant à Villepinte. Le dimanche après-midi 10 mars 2012, Nicolas Sarkozy clôturait le meeting de milliers de personnes avant de rejoindre le stade de France. A l’heure exacte de cette clôture, l’Ifop lançait l’enquête dans le cadre de son baromètre. Le lendemain soir, un sondage Ifop-Paris Match-Europe 1-Public Sénat, un baromètre, était repris par une dépêche de l’AFP qui annonçait le « croisement des courbes ». Un titre si affirmatif qu’il paraissait annoncer la suite. Il était évident que cela tombait à pic pour le président sortant. D’ailleurs, très vite, les messages sur Twitter relayèrent la « bonne nouvelle » alors qu’à l’inverse, un air de catastrophe répondait dans l’autre camp. Il y avait pourtant des raisons de se méfier : la nouvelle tombait tellement bien pour le candidat sortant, dès son entrée en campagne officielle comme pour effacer ses piètres résultats antérieurs – ainsi suffisait-il qu’il se déclare pour « remettre les montres à l’heure – un sondage effectué aussi rapidement – 24 heures – et enfin, un titre pour le moins imprudent au regard de l’écart – Nicolas Sarkozy ne devançait François Hollande que d’un demi point ce qui, en termes de sondages, revient à l’égalité mais pas au croisement des courbes, sauf à parier imprudemment sur l’avenir à moins qu’il ne s’agisse de le faire advenir par une stratégie performative. Or, déjà les médias s’emparaient d’un effet Villepinte qui, selon tout ce que l’on sait des effets des événements sur l’opinion ne pouvait avoir eu lieu dans l’immédiat. Il était parfaitement possible de diagnostiquer une remontée de Nicolas Sarkozy mais erroné de lui donner le nom du meeting de Villepinte. Titraille comme le croisement des courbes ? Sans doute. Une titraille pas tout à fait neutre.

L’Observatoire des sondages publia ses remarques sur les curiosités du sondage Ifop-Paris Match-Europe1-Public Sénat (La supercherie de l’Ifop) : pour un baromètre, il était pour le moins curieux qu’il commence immédiatement à la suite d’un événement politique, de surcroît, un événement commandé par l’un des candidats. Un baromètre doit obéir à une régularité chronologique ou ce n’est plus un baromètre. Les vagues précédentes étaient-elles lancées le dimanche à 16 heures ? Le sondeur se permettait au moins une liberté avec la rigueur méthodologique. Par ailleurs, la rapidité de passation du questionnaire s’expliquait par la méthode hybride conjuguant le téléphone et internet. Cela expliquait le nombre plus élevé de sondés sans qu’on en sache la proportion selon la technique. On ne pouvait manquer encore d’observer que l’entreprise de sondage avait pour propriétaire la présidente du Medef, politiquement proche de Nicolas Sarkozy, et avait depuis l’Opiniongate manifestement profité de la relégation de Opinionway comme nous l’avions signalé bien avant (Cf. Nicolas Sarkozy réélu : les derniers push polls de l’Ifop, 19 novembre 2010 ; Coproduction de sondage truqué Le Monde-TNS Sofres, 22 septembre 2010). Le titre de l’AFP était donc d’autant plus important qu’il accréditait la valeur de l’information sans aucune réserve alors qu’il aurait dû le faire. Quand on connaît la procédure de certification des informations dans l’agence de presse, on peut s’étonner. Le débat eut d’ailleurs lieu le lendemain au sein de l’agence. En d’autres termes, il y eut des désaccords.

Alors que la presse française titrait sur « le croisement des courbes », une sorte de leitmotiv du mardi, nos critiques méthodologiques étaient reprises par des médias après avoir parcouru la "twittosphere". L’Observatoire des sondages enregistrait un afflux de consultations inhabituel, notamment de militants du PS. L’agence Reuters publiait une dépêche où, tout en évoquant le sondage Ifop-Paris Match-Europe1-Public-Sénat, elle se faisait l’écho des réserves. En outre, un sondage de TNS-Sofres était publié qui marquait la stabilité des intentions de vote et donc ne confirmait pas le croisement des courbes. L’AFP, comme un remord stimulé par le débat interne, lui accorda une large place. C’en était fini du croisement des courbes. Il est impossible de savoir quelle est l’importance de cet épisode. L’histoire n’est pas à refaire. Il n’est pourtant pas douteux que les spin doctors comptaient beaucoup sur un tel événement. Autour du président sortant, ils étaient convaincus de la difficulté quasiment insurmontable. Mais l’action interdit de douter au point de ne rien faire. Et à supposer que le croisement des courbes eut été confirmé, on peut se demander si le résultat final eut été le même. Le « croisement des courbes » et « l’effet Villepinte » seraient rapidement passés à la postérité de la communication politique.


[1L’Observatoire a comptabilisé 45 sondages sur la primaire socialiste de octobre 2011.

[3Cf. Sondages et démocratie : pour une législation plus respectueuse de la sincérité du débat politique, Sénat, Rapport d’information n° 54 (2010-2011), 20 octobre 2010.

Lire aussi

  • Estimations du 22 avril 2012 : la contre-performance

    24 avril 2012

    On sait les sondeurs très anxieux avant le premier tour d’une élection présidentielle. La contre-performance les menace. On l’a bien senti dans la dernière semaine de campagne quand leurs commentaires (...)

  • Présidentielle 2012 : premiers « résultats »

    20 avril 2012

    Une polémique est née en cette fin de campagne électorale sur la publication de « résultats » avant la fermeture des derniers bureaux de vote. Publication interdite par la loi. Des médias annoncent (...)

  • Présidentielle 2012 : encore un sondage pour rien

    13 décembre 2011

    La nouvelle est tombée dimanche soir (11 décembre 2012), et s’est répandue dans la presse telle une trainée de poudre, SudOuest.fr décidant de titrer sur sa page d’accueil : « François Bayrou remonte (...)