L’Observatoire des sondages a attiré l’attention sur l’écart de plus de 10 points entre un sondage sur les intentions de vote et les résultats du référendum suisse sur l’interdiction de minarets [1]. Cela fait beaucoup. Il semble que nous ayons été les seuls à faire cette remarque. Et pour cause. On s’est empressé de faire des sondages sur la même question en France alors même qu’elle ne ne peut se poser, pour la simple raison qu’il n’existe pas pour l’instant, en dépit de la réforme constitutionnelle votée en juillet 2008, de possibilité d’organiser de référendum d’initiative populaire. Bref, le régime d’opinion consiste aujourd’hui à se poser des questions qui ne se posent pas avec de mauvais instruments.
Nous avions bien compris comment le sondage suisse avait pu se tromper à ce point mais avions cru devoir attendre pour en donner l’explication. Après tout, notre activité est bénévole et nous avons quelque scrupule à expliquer pour rien les erreurs de ceux qui en vivent bien. Et puis, en se doutant que les sondeurs et médias français allaient se précipiter sur le sujet comme des affamés, il convenait d’attendre.
On sait déjà que les sondeurs français répondraient que leurs méthodes sont meilleures que les méthodes suisses et que de toute façon, les sondages préélectoraux ne sont pas des prédictions. Ils feraient mieux de s’interroger sérieusement sur de tels écarts au lieu de chercher à tout prix à défendre leur fonds de commerce. Il est vrai que l’explication n’est pas à leur avantage. De quoi s’agit-il en effet ? Les déclarations d’intentions de vote sont corrigées en fonction des déclarations du dernier vote qui comparées aux résultats réels des élections antécédentes permettent d’évaluer et de corriger les sous-déclarations et sur-déclarations. Ainsi, pour prendre l’exemple le plus net en France, les intentions de vote en faveur du Front national ont-ils été longtemps sous évaluées du fait de la sous-déclaration de ce vote. Il a fallu beaucoup d’efforts aux sondeurs pour se résoudre à multiplier par 2 et même un peu plus pour approcher les vrais scores du FN. Il y a en effet des limites, corriger autant pour atteindre approximativement les résultats, c’est à vous désespérer des sondés. Il ne devrait pas être permis d’être aussi dissimulateur.
En l’occurrence, concernant un référendum sur les minarets, à quelle consultation électorale se référer ? Du coup cela ne mettrait pas en cause la plupart des sondages électoraux… Par contre, cela soulève un problème plus général pour les sondages qu’on ne peut corriger en comparant avec des résultats réels. C’est-à-dire à peu près tous les sondages d’opinion. En effet, la plupart des sondages ne sont pas corrigés. Par rapport à quoi le seraient-ils ? On fait comme si les déclarations étaient justes. Le paradoxe est bien ici que la fiabilité des sondages a été établie sur des sondages électoraux… qu’il fallait corriger pour qu’ils soient proches des résultats réels et qu’on a étendu cette preuve à tous les sondages alors qu’au contraire, elle aurait dû les disqualifier. Cette prouesse n’était pas scientifique mais bien politique.
Il est vrai que cette question de la fiabilité des réponses ne se pose pas également pour toutes les questions. Les questions de vote sont par excellence sujettes à caution mais aussi les questions d’intimité, de légalité etc. En gros toutes les questions à forte connotation normative. Les questions qui suscitent le légitimisme des sondés sont ainsi fortement biaisées. Le biais légitimiste était prononcé dans le sondage sur l’interdiction des minarets car il était légitime de manifester de la tolérance. Des sondés tolérants manifestant leur faveur pour la liberté religieuse devant des enquêteurs devenaient des électeurs intolérants et hostiles aux minarets dans le secret des isoloirs. Le même biais, devenu cas d’école, s’était révélé en 1982 en Californie, pour l’élection du candidat noir Tom Bradley au poste de gouverneur. Celui-ci arrivait en tête des intentions de vote avant d’être finalement battu. Les sondés avaient été moins gênés par la couleur du candidat que les électeurs. On ne pouvait ignorer la différence de situation entre une enquête et une élection dans l’écart final. Le biais légitimiste pousse les sondés à répondre selon les attentes qu’ils devinent. Aussi se déclarent-ils à l’inverse plus heureux qu’ils ne le sont, plus honnêtes aussi, plus respectueux des institutions et des bonnes mœurs, etc.
Il faut donc envisager les raisons qui produisent ce biais et notamment interroger les conditions d’enquête. Il est aujourd’hui avéré que les réponses varient selon les méthodes d’interrogation. On en a encore une illustration dans les sondages en ligne qui ont été effectués par les sondeurs français. L’anonymat y est ressenti comme plus profond que dans les enquêtes par téléphone parce qu’on n’y noue pas une relation même seulement par la voix. Si on interroge des sondés sur leur vie sexuelle, celle-ci apparaît beaucoup plus libérée par internet qu’au téléphone. Les interlocuteurs ne sont pas les mêmes non plus quoique prétendent les sondeurs en matière de critères de représentativité. Il n’est donc pas étonnant que les internautes français sondés aient étonné en se montrant moins tolérants qu’on le croyait (!) et en tout cas moins tolérants qu’ils l’auraient été par téléphone [2].