Contribution d’un statisticien
Problème : comment, à partir d’un petit nombre d’individus interrogés, évaluer l’opinion d’une population ?
En choisissant un échantillon représentatif dans la population, c’est-à-dire un ensemble d’individus n’ayant aucune caractéristique, liée au sujet de l’étude, qui soit différente du reste de la population.
Les sondages d’opinion politiques se sont surtout développés dans les années 60, du moins en France. Trois périodes se sont succédées correspondant à trois méthodes de recueil de l’information :
Les sondages en face à face, correspondant aux années 1960 -1980.
Les sondages par téléphone, depuis les années 1980 à nos jours
Les sondages par internet, qui sont apparus récemment.
Ces trois périodes comportent des recouvrements, l’évolution ne s’étant pas faite instantanément.
- Le face à face
Dans les années 60, deux instituts se partageaient ce « marché » : l’Ifop et la Sofres. Tous les sondages, politiques ou non étaient faits en face à face par des enquêteurs formés, beaucoup étant des CDI, salariés d’un institut.
Le principe d’échantillonnage était le même quel que soit le sujet de l’étude. Un certain nombre de points de chute (des communes ou arrondissements de villes) étaient tirés au hasard sur une liste préalablement établie, constituant le maître échantillon de l’institut. Ce maître échantillon, mis à jour de façon régulière pour éviter que les mêmes individus soient interrogés de façon répétitive, permettait de recruter des enquêteurs proches des points de chute afin de limiter les déplacements. Il était établi pour permettre une représentativité géographique en termes de régions et d’habitat conforme à la structure nationale fournie par l’INSEE.
Pour chacun des points de chute sélectionnés, un certain nombre d’interviews était affecté, interviews réparties selon les critères servant de quotas d’enquête. La répartition était faite proportionnellement à la structure de ces critères sur la zone correspondant au point de chute. L’objectif de ce travail sur un point de chute constituait la feuille de route de l’enquêteur.
L’enquêteur choisissait au hasard les interviewés dans les limites géographiques du point de chute avec la contrainte de ne pas recruter deux personnes situées à proximité l’une de l’autre. (Ce critère de proximité était établi précisément mais l’explication en serait compliquée). Lors de l’interview, l’enquêteur relevait les informations correspondant aux quotas et cochait sur sa feuille de route en face de chaque état des différentes variables la présence d’un questionnaire réalisé. Le travail nécessitait un certain savoir faire dans le choix des personnes à interroger pour éviter de devoir, à la fin, recruter un cadre supérieur de moins de 25 ans avec 4 enfants.
Chaque questionnaire comportait, pour le contrôle qualité, le nom et l’adresse de l’interviewé. Régulièrement, et de façon aléatoire, les enquêteurs étaient contrôlés, par téléphone si cela était possible, ou par courrier en demandant à la personne interrogée une ou deux réponses à des questions figurant dans le questionnaire pour s’assurer de la réalité de l’interview et de la qualité de la personne interviewée. Ces contrôles étaient menés a posteriori souvent après publication des résultats de l’étude mais ils permettaient de ne conserver que les enquêteurs sérieux. Un contrôle était également réalisé sur les adresses pour s’assurer que les enquêteurs ne revenaient pas régulièrement auprès de personnes sympathiques répondant facilement à leurs questionnaires.
Pour les enquêtes sur les intentions de vote, un certain nombre de précautions supplémentaires étaient prises. Le matériel fourni aux enquêteurs permettait de mettre l’interviewé en situation de vote. En effet, l’enquêteur avait une petite urne en carton et des bulletins de vote comportant les noms des candidats locaux pour le scrutin à venir. Cette méthode permettait de ne pas poser directement la question « pour qui voterez vous ? » qui a parfois pour effet de donner la possibilité à l’enquêté de biaiser sa réponse. Ces précautions peuvent paraître puériles mais certains comportements de vote ne s’avouent pas librement et le « secret » de la réponse libère l’interviewé. Il est évident que les intentions de vote ne pouvaient être analysées que proches du scrutin et non pas deux ans avant.
La méthode décrite ci-dessus avait un coût évident, ce qui limitait le nombre de sondages, mais assurait la qualité des résultats produits. Les sondages politiques à cette époque étaient la vitrine des instituts, permettant de démontrer la qualité de leur travail par la précision de leurs résultats, mais ces études coûtaient souvent plus qu’elles ne rapportaient.
- L’interview téléphonique
Progressivement d’autres instituts sont apparus sur le marché. Une concurrence s’est faite qui a amené à réduire les coûts de production pour conserver un marché avec les médias avides de résultats à publier. Une nouvelle méthode de recueil de l’information est apparue : le téléphone. Le taux d’équipement des ménages en téléphone a augmenté passant de 10% en 1964 à 20% en 1972 puis 70% en 1980 pour atteindre environ 95% dans les années 90. Ce taux recule un peu depuis par substitution du téléphone mobile [1]. La croissance du taux d’équipement a permis de considérer que le tirage aléatoire de numéros d’appel sur l’annuaire fournissait un échantillon représentatif de l’ensemble de la population, en faisant abstraction cependant d’un pourcentage encore élevé de non équipés donc non joignables.
Les enquêtes par téléphone permettent de vérifier au cours de l’enquête le positionnement des interviews réalisées selon les critères retenus comme quotas. La dispersion des enquêtes est obtenue par la dispersion des numéros lors du tirage aléatoire de départ. Le contrôle de qualité est réalisé par une écoute d’un chef de plateau se positionnant en parallèle d’un enquêteur lors de l’interview, et ce de façon impromptue pour vérifier la qualité du recueil effectué par l’enquêteur à ce moment.
En tenant compte des heures de réalisation des interviews, ce qui devait également être en face à face, pour pouvoir trouver les personnes à leur domicile, cette méthode se rapproche de la méthode face à face, le nombre de laissés hors champ pour non possession d’un téléphone fixe étant faible. Ce critère est néanmoins corrélé à certains critères d’âge ou de CSP pouvant influer sur la nature des réponses attendues.
Le recueil des informations d’intentions de vote se fait alors sur liste de possibilités, les possibles pouvant être conformes à la réalité locale si on prend soin de fournir au programme de recueil, qui fait défiler le questionnaire devant l’enquêteur, les noms des candidats locaux en fonction de la position géographique de l’interviewé.
- Le recueil par internet
Pour faire face à la difficulté croissante des contacts et à l’augmentation des refus de répondre, pour pouvoir aussi fournir de façon intensive des données aux médias avides de ce genre d’information, la recherche d’économies a conduit à imaginer un autre mode de recueil, l’internet.
Par internet, il n’est pas possible d’établir a priori de plan de sondage, donc d’utiliser la méthode des quotas. En effet, deux possibilités s’offrent à l’institut :
Travailler sur un échantillon pré-établi que l’on active pour l’enquête, mais cela consiste alors à avoir un panel « d’experts » où il n’y aura pas d’indépendance dans les mesures d’une vague d’enquête à l’autre, donc pas de représentativité.
Envoyer « dans la nature » des questionnaires à remplir auprès d’un grand nombre de personnes équipées de mails en récoltant les réponses de ceux qui ont bien voulu les remplir dans un délai court.
Dans les années 60 -70, la méthode d’envoi de questionnaires par la poste à un grand nombre de personnes en demandant de retourner les questionnaires remplis dans des enveloppes « T », sans avoir sélectionné au préalable les personnes, a été utilisée pour certaines études (non politiques). Le taux de retour est en général de 5 à 8% ce qui permet d’avoir une indication de tendance mais pas un sondage représentatif (nous rappelons en effet que les non répondants sont censés être identiques aux répondants, condition impérative pour qu’un sondage soit dit représentatif).
Ces deux méthodes supposent que la population de référence est constituée des français équipés d’ordinateurs reliés à internet, ce qui est très restrictif surtout pour certaines catégories de population pour qui le fait d’être équipée est lié aux niveau de vie et aux opinions politiques. Ces deux méthodes supposent également une volonté de répondre spontanément aux questionnaires envoyés, ce qui, pour les informations politiques, est généralement lié aux opinions extrêmes (volonté de critique et de démarquage). Des études ont été faites dans les années 60 à ce sujet. Ce qui avait conduit à l’utilisation de l’urne mobile.
Ce mode de recueil interdit de plus tout contrôle du remplissage des questionnaires. En effet, comme pour les enquêtes postales faites auprès d’un panel constant dans les années 60-70, il est impossible de savoir qui, dans le foyer recevant le questionnaire, l’a réellement rempli.
Le traitement des enquêtes
Un redressement consiste à ajuster les marges de l’échantillon aux structures de la population de référence pour un ensemble de critères dont ceux ayant servi de quotas. On suppose que ces critères sont discriminants pour l’information relevée, ce qui est l’usage normal des quotas, mais pas forcément l’usage courant. Le calcul est fait de façon itérative : on ajuste le premier critère puis le second puis le troisième, etc. On reprend ensuite au premier critère et la boucle s’arrête lorsque les corrections deviennent inférieure à un seuil donné. Cette méthode est toujours (ou presque) convergente, mais elle peut introduire de fortes contraintes qui traduisent des déformations pré-existantes importantes.
En effet, le nombre d’individus dans chaque case des critères croisés est très faible ; certains individus appartiennent donc dans un cas à un ensemble trop important d’où un coefficient inférieur à 1 et dans un autre cas à un ensemble trop faible d’où un coefficient supérieur à 1. Cette contrainte se reporte alors sur les autres individus de chacun des deux ensembles qui accumulent les coefficients tant supérieurs à 1 qu’inférieurs. On obtient alors des coefficients multiplicateurs très divergents. On peut trouver couramment des poids s’étageant de 0.2 à 10.
Ce constat conduit à l’obtention d’un échantillon réel sensiblement inférieur à l’échantillon obtenu sur le terrain donc à une précision du sondage beaucoup plus faible que celle recherchée. L’intervalle de confiance d’un pourcentage est inversement proportionnel à la racine carrée (N) N étant le nombre d’individus statistiquement indépendants de l’échantillon. Multiplier un individu par un coefficient supérieur à 1 ne crée pas de nouveaux individus indépendants et 0.5 individu ne peut être compté pour 1. Le redressement diminue donc la taille réelle de l’échantillon.
Ce problème n’est actuellement pris en considération par aucun institut lors de la publication des sondages.
Un redressement peut également, selon le choix des critères, modifier de façon très importante le résultat de l’étude et même inverser certains résultats.
Une grande dispersion des poids conduit à biaiser les résultats. sans oublier que les critères retenus pour définir les quotas et le redressement doivent être réellement discriminants quant a l’information étudiée, ce qui n’est pas exactement le cas pour les études politiques actuellement menées.
- L’édition des résultats
Les différentes phases de préparation étant terminées, l’analyse peut être faite. Un ensemble de tableaux croisés est édité. Il est très important de s’assurer que les effectifs dans chaque colonne sont suffisants pour pouvoir effectuer les comparaisons nécessitées par l’analyse.
Le recueil d’information par internet dans le domaine politique ne peut être jugé comme sérieux, les répondants ne pouvant être considérés comme représentant les non répondants (ce qui est l’axiome de base des sondages) compte tenu des différences socio-économiques différenciant les deux catégories.
D’autre part, il serait nécessaire de mener une étude sérieuse des variables servant à établir les quotas pour pouvoir remplacer les sempiternels "région, habitat, sexe et CSP" par des critères réellement structurants en terme d’intention de vote. Les critères utilisés actuellement sont fournis de façon ordinaire par l’INSEE et donc entrés dans les mœurs, mais leur usage relève de la paresse intellectuelle.