observatoire des sondages

Sondages en ligne : où est le problème ? OpinionGate (5)

dimanche 11 octobre 2009

On croyait qu’il y avait un différent méthodologique entre OpinionWay et les autres sondeurs sur la fiabilité des sondages en ligne même si cette querelle concernait aussi les coûts de revient et donc la concurrence entre instituts. Malgré la violence de la polémique soulevée par l’OpinionGate, il a cependant semblé que le différent était révolu. La fiabilité des sondages en ligne pour OpinionWay ? Non sans surprendre, ses dirigeants soutenaient que la chose était acquise, « l’attaque en règle contre internet ayant cependant perdu quelque crédibilité » (Le Monde 31 juillet 2009). Les réponses des concurrents suscitaient une plus grande surprise encore.

Tous d’accords ?

Les sondages en ligne ? Pas de problème se vantaient les dirigeants de TNS Sofres et Ipsos. Ils se livraient même à un jeu de surenchère. On ne vous a pas attendus, assuraient-ils, nous en faisons depuis longtemps et ils apportent une part importante de notre chiffre d’affaire. Histoire de bien montrer que l’on reste à la pointe, un élément de la présentation de soi pour les entreprises technologiques. En si bon chemin, les anciens sondeurs venaient même au secours du nouveau : c’est une mauvaise critique que l’on vous fait que d’attaquer les sondages en ligne. Est-ce à dire qu’ils font la même chose ? Justement non, mais aucun n’en parlait. Ils en font sur les études de marché. Là où personne sinon leurs clients ne leur demandent rien. Et donc, ils n’en font pas dans les études d’opinion. Pourquoi ne le disaient-ils pas ?

Il est vrai, loin de banales et tristes questions de méthode, que OpinionWay et ses confrères s’opposaient sur des sujets plus graves : qui avait réalisé la meilleure performance sur les élections européennes ? OpinionWay comme le prétendait OpinionWay ou TNS Sofres comme le prétendait TNS Sofres ? Le premier avait inauguré sa participation sur TF1 tandis que le deuxième avait inauguré la sienne sur France 2. Et surtout il était question de factures et de mœurs ou encore de déontologie, ce mot si souvent utilisé dans l’univers de l’argent qu’il en est forcément suspect. Ils faisaient donc semblant d’ignorer le débat sur les sondages en ligne.

Il y a donc bien une différence entre OpinionWay et ses confrères. Si ces derniers ne font des sondages en ligne que pour les études de marketing, c’est qu’ils se l’interdisent pour les études d’opinion. Or, ils ne peuvent exclure d’avoir à le faire. Ils savent trop bien que les sondages par téléphone sont plus coûteux et qu’ils deviennent d’autant plus coûteux que les contacts sont plus difficiles. Ils adoptent à cet égard le point de vue des fondateurs d’OpinionWay qui répètent le débat sur les sondages téléphoniques. Quand les sondeurs ont commencé à recourir au téléphone pour mener leurs sondages, ils ont été contestés. La principale critique portait sur le taux d’équipement inégal des ménages. Tant que les différences étaient grandes entre les groupes sociaux, la représentativité des échantillons était sujette à caution. La généralisation progressive du téléphone fit taire l’objection. Une telle critique a été reproduite à propos d’internet, provisoire et modérée car il suffirait d’attendre. On a donc entendu que c’était « encore un peu tôt » pour utiliser les sondages en ligne, selon un point de vue behavioriste qui exclut implicitement les biais spécifiques à ce mode d’interrogation. Or, il y en a.++++

Toujours plus de biais

Il faut assurément un certain culot, prisé dans l’univers commercial, pour affirmer que « l’attaque en règle contre internet ayant cependant perdu quelque crédibilité ». Certes, les réponses des confrères ont rétrospectivement donné quelque fondement à cette confiance. Ce n’est pourtant pas un avis partagé par la profession. Issue de celle-ci, la revue européenne WNIM ne saurait être suspectée d’hostilité de principe quand elle assurait que les méthodes devaient être améliorées en publiant ce chiffre de 54 % de sondés en ligne qui reconnaissaient mentir [1]. En ce qui concerne les sciences sociales et statistiques, il n’y a pas moins d’objection aux sondages en ligne, il y en a plus.

La critique des sondages en ligne met en cause leur représentativité. Contrairement à ce que croient les sondeurs, elle ne réédite pas le débat sur l’équipement insuffisant en téléphones mais concerne la population des internautes. Celle-ci n’est pas représentative parce que l’usage d’internet n’est pas encore généralisé mais parce que les internautes ne sont pas représentatifs de l’ensemble de la population. Ce n’est pas une différence qui serait comblée par la généralisation d’internet mais au contraire une différence qui naît de l’usage d’internet. Les internautes sollicités par les sondeurs sont d’autant plus différents de la population d’ensemble qu’ils coopèrent aux sondages en ligne qui leurs sont proposés comme des jeux et des solutions pour gagner des cadeaux ou de l’argent. A terme, comme le montrent les sites de sondages rémunérés, répondre devient un « petit boulot », soit l’inverse de la représentativité. On pourrait ajouter que plus on passe de temps sur internet et plus on se retranche de la société sur laquelle la représentativité est fondée. Les internautes ne sont pas exactement « des gens comme les autres ». Le système CAWI, censé établir les critères de représentativité, ne peut corriger ces différences d’ethos mais seulement aligner l’échantillon d’internaute sur les critères objectifs habituels d’âge, de genre et de groupe social. Or, l’existence même des sondages repose toute entière sur le critère de représentativité. Autant dire que les sondages en ligne n’ont aucune pertinence pour les études d’opinion qui portent sur une population générale.

Face à ce défaut définitif sauf évolutions à découvrir, on ne devrait pas en chercher d’autres. Ils existent pourtant. L’usage de panels d’internautes est sans doute un avantage en termes de rapidité et de coûts ; il pose des difficultés méthodologiques depuis longtemps identifiées. Les sondeurs en ligne n’ont en effet pas découvert les panels, ces populations d’enquêtes interrogées à intervalles successifs afin de mieux identifier les évolutions. La première grande enquête électorale par sondages – The People’s Choice de Paul Lazarsfeld, Hazel Gaudet, et Daniel Berelson sur l’élection présidentielle américaine de 1940 – avait questionné un panel d’électeurs en 6 vagues successives. Toutefois, le panel original avait été renouvelé par tranches afin d’éviter les effets d’auto-élection par lequel le sondé adopte une position différente parce qu’il est sondé. Pierre Bourdieu avait généralisé cette critique en disant que le sondé « prend la pause ». La propension est d’autant plus forte qu’il sait qu’il va être à nouveau interrogé. La précaution du renouvellement n’a pas perdu sa raison et la critique sa pertinence si on en juge par des sondages à vocation scientifique. Après tout, le sondage en quatre vagues commandé par le ministre de l’Intérieur Nicolas Sarkozy à l’Ifop pour le Cevipof [2] a procédé par renouvellement partiel des sondés, selon la méthode des « d’échantillons glissants », présentée abusivement comme une nouveauté.

L’OpinionGate a encore fait émerger un autre biais. Si l’on ne savait pas que OpinionWay était lié à l’UMP et à l’Elysée, il est plus difficile maintenant de l’ignorer. En tout cas pour les internautes qui font partie de son panel. L’effet d’auto-élection ne peut qu’être renforcé par la réputation du sondeur en ligne. La préférence partisane des internautes demeurerait-elle à l’écart de toute considération à commencer par celle d’accepter de répondre aux sondages en ligne d’OpinionWay ? Bien sûr, la représentativité sociale n’en serait pas affectée mais les préférences politiques constituent alors un critère de représentativité impossible à prendre en compte. Comme les professionnels l’ont compris, en la matière, une mauvaise publicité est doublement une mauvaise affaire, pour les clients mais aussi pour les sondés. Les instituts concurrents n’ont pas intérêt à tirer sur l’ambulance alors qu’ils comptent bien un jour pouvoir faire les mêmes sondages, toute objection balayée.

En dépit de leurs défauts méthodologiques originels et nouveaux, les sondages en ligne progressent en effet parce qu’ils ont des qualités commerciales. Aussi est-il urgent de ménager l’avenir pour ceux qui ne les utilisent pas encore pour des enquêtes d’opinion mais seulement pour les études de marketing. La prudence est tactique. S’ils ont des scrupules intellectuels ou démocratiques, ils ne le disent point. Il faut donc conclure que ce n’est pas la méthodologie qui les gêne mais la rétribution de ces enquêtes : non un problème de fiabilité mais un problème de légitimité.++++

Un problème de légitimité

Pendant des décennies, les sondeurs ont justifié leur activité par la démocratie. Ils étaient en effet attaqués sur ce terrain par un certain nombre d’adversaires qui leurs reprochaient de concurrencer le vote. Cette polémique a eu lieu dans tous les pays et a laissé en France le souvenir des articles où, en 1972, Maurice Druon les qualifiait de « pollution de la démocratie ». Aucune intervention de sondeur, par livre ou voie de presse, ne se dispense de légitimer les sondages par la démocratie. Cette défense est-elle encore possible si on paie les sondés ?

Certes, il s’agit de sondages et non d’élections. Mais les sondeurs ont fait le lien en célébrant à l’envi les sondages comme un mode d’expression démocratique ou en se vantant de l’enthousiasme des sondés à répondre aux questions qu’on leur posait. Ces arguments ont encore été invoqués quand il est apparu qu’il était de plus en plus difficile d’obtenir des réponses des personnes contactées. En étudiant cette évolution, John Brehm lançait un cri d’alarme sur les dangers que le phénomène faisait courir à la démocratie [3]. Quant aux sondeurs français, ils le niaient en assurant que les sondés étaient toujours aussi coopératifs, manière d’encourager les enquêteurs des centres d’appel, travailleurs précaires exécutant des tâches ingrates, et manière de préserver les sondés potentiels de la contamination. Depuis leurs débuts, la démocratie n’a jamais cessé d’être mobilisée pour la cause des sondages. Souvent sans vergogne.

Si les sondages ne sont pas des élections, les réponses sont censées exprimer des convictions notamment en matière d’opinion publique. C’est le fondement même de l’opération. Si on paie le sondé, peut-on encore soutenir que le sondé exprime des convictions ? Le soupçon sur la sincérité du sondé retrouve exactement celui qui pèse sur le vote dans les cas de corruption électorale. Un premier doute procède de l’incentive, comme le disent les marketers, c’est à dire de la rétribution. Le système de sélection de l’échantillon n’intègre pas tous les internautes qui ont répondu. La recherche de la rétribution peut inciter à calculer une réponse. C’est avoué dans les enquêtes de marketing, pourquoi cela n’affecterait-il pas les préférences politiques ? D’autre part, les internautes savent fort bien qu’ils ne votent pas mais peuvent être justement tentés de peser sur le vote ou plus généralement d’influencer l’opinion. Hypothèse absurde ? Les sondeurs en ligne utilisent l’argument pour convaincre des internautes quand ils lancent cette incitation sur leurs sites internet : « influencez les tendances ». Par ailleurs, les internautes ne peuvent ignorer les croyances générales sur l’influence des votes par les sondages. Ils ne sont pas plus stupides que les candidats qui, de l’élection présidentielle aux élections locales essaient de les utiliser à leur profit et, dans les premières dépensent beaucoup d’argent pour payer les sondeurs. Certes, les sondeurs nient les effets des sondages sur le vote. Ils sont bien les seuls. Et faut-il ajouter, ils ne les nient qu’en public.

Quel que soit l’intérêt de la question des effets des sondages sur le vote – directs sur le vote ou indirects par la sélection des candidats – il n’est pas nécessaire de l’aborder ici. Il suffit de savoir que ceux qui dénient de tels effets sont incapables de prouver leur absence. Or, en matière de droit, la charge de la preuve leur revient : il suffit qu’il y ait un risque et donc un doute pour qu’une norme juridique soit nécessaire. La légalité de la rétribution des sondages soulève les mêmes problèmes que les achats de vote dans un passé lointain. Dans la législation française, la corruption électorale a d’abord été sanctionnée dans la mesure où il était établi que l’argent avait servi à obtenir des votes. Au tournant des 19ème et 20ème siècles, il n’a plus été nécessaire d’établir une relation entre des dons et des votes pour invalider des élections et sanctionner les coupables mais seulement d’établir que de l’argent avait été donné. A partir de la réforme de 1913, instituant notamment l’isoloir, il n’était plus possible au corrupteur de vérifier que le corrompu respectait bien le pacte de corruption [4].

En somme, il faudrait prouver que les sondages en ligne n’influencent pas le vote pour qu’ils soient légaux. Faute de faire cette démonstration, ils le sont. Non point pour des raisons de méthode et de non fiabilité (le reproche pourrait être adressé à tous) mais à cause de la rétribution. Imaginons que les sondeurs se mettent à rétribuer les enquêtes par téléphone et en face-à-face. Peut-être cela susciterait-il des protestations. En tout cas, pourquoi cela serait-il seulement permis par internet ? En l’occurrence, il s’agit moins d’adopter une nouvelle législation que de respecter la législation électorale adoptée avant l’existence des sondages. Il paraît de plus en plus difficile de ne pas l’étendre à ceux-ci. A terme, cela sera impossible. Autant interdire la rétribution de sondages électoraux, en ligne aujourd’hui, au téléphone demain, avant que la démocratie ne soit un peu plus discréditée.


[3Cf. John Brehm, The Phantom Respondent. Opinion Surveys and Political Representation, The Michigan University Press, Ann Harbor, 1993.

[4Cf. Alain Garrigou, Histoire sociale du suffrage universel en France, Seuil, Paris, 2002 et Les secrets de l’isoloir, Editions Thierry Magnier, Paris, 2008.

Lire aussi