observatoire des sondages

Les photos truquées ont la vie dure : retour d’épreuves

lundi 7 mars 2016

Parmi les sondages publiés durant la période de suspension de l’activité de l’Observatoire, trois d’entre eux, tant par les questions graves abordées que par la nature et l’étendue des biais, nous ont paru devoir faire l’objet d’un examen rétrospectif.

Deux sondages réalisés par Ipsos et l’Ifop (1er et 11 février 2016) s’attachent à montrer la persistance du racisme et de l’antisémitisme en France. Un troisième réalisé par l’IEP Grenoble associé à Ipsos et au ministère de l’Education Nationale est le volet français d’une étude internationale sur la délinquance des jeunes [1]. Il porte sur les opinions des collégiens à l’égard des institutions publiques et les valeurs qui les déterminent (la religion notamment). Le magazine l’Obs du 4 février 2016 en a fait sa une "accrocheuse" agrémentée d’une photo de la ministre de l’Education Nationale : "l’Ecole défiée par la religion".

Comme presque tous les autres, ces trois sondages reposent sur des QCM binaires et simplistes semblables aux centaines d’enquêtes de consommateurs que produisent tous les ans les professionnels du marketing, que ce soit pour des téléphones portables, des tampons périodiques, des lingettes pour bébés, ou des crèmes glacées. Sur des questions aussi délicates et complexes que celles soulevées ici, ce seul point de méthode suffit à classer ces sondages au rayon des farces et attrapes. Il est donc presque superflu de rappeler que prétendre saisir ce que les gens ont dans la tête juste en le leur demandant est d’une naïveté touchante. Ce n’est pas sûr pour les parfums des yaourts mais pour les sentiments religieux ou xénophobes c’est hautement fantaisiste. Le protocole de l’enquête de l’IEP Grenoble rappelle qu’il s’agit d’une étude de “délinquance auto-déclarée”. Auto-déclarée c’est bien là où le bât blesse, qui plus est lorsqu’il s’agit d’enfants ou d’adolescents. Qu’il faille rappeler à des chercheurs que la vérité (ou à défaut) la sincérité ne sort pas plus de la bouche des adultes que de celles des enfants, même lorsqu’ils sont "coincés" dans leur salle de classe avec leurs enseignants est pour le moins...déroutant [2]. Ils leur arrivent même d’avouer, certes dans d’autres sondages, avoir menti ou manqué de sincérité dans leurs réponses (cf. par exemple les enquêtes du PEW Research Center sur la sexualité des jeunes, ou plus généralement sur la sincérité des réponses aux sondages selon les questions posées). Au moins l’enquête de l’IEP ne souffre-t-elle pas du déficit de représentativité des deux autres.

Les enquêtes Ipsos et Ifop étaient auto-administrées (sondage par internet) et, comme tout échantillon constitué spontanément, leur représentativité est faussée d’entrée de jeu. Répondent les plus motivés parfois dédommagés pour le “service rendu”. Particularité de l’"enquête" Ipsos, elle est constituée en fait de 3 sondages mis bout à bout, réalisés entre juillet 2014 et juin 2015. Une partie des sondés se définissant comme juifs a fait l’objet d’entretiens en face en face. Pourquoi eux seulement et pas les autres sous-populations de l’enquête (musulmans auto-déclarés, sondés sans distinction religieuse affichée) ? L’identité du commanditaire, la Fondation du Judaïsme Français explique cette absence. Les critères de religiosité retenus ne sont pas plus explicités. C’est fâcheux. Autre problème entachant la représentativité : la taille des échantillons des sous-populations varie du simple au triple. 300 par exemple pour les sondés se définissant comme juifs, 500 comme musulmans, et 1000 pour ceux "représentatifs de la population française" sans caractère distinctif. Pourquoi ? Que la population de référence d’une sous-population soit supérieure ou inférieure à une autre n’exempte pas du respect des conditions classiques de représentativité. Autrement dit la taille d’un échantillon représentatif ne procède pas de l’effectif global de la population étudiée. Ce mic-mac de sous-sondages, de méthodes et de sondés non représentatifs disqualifie encore un peu plus les prétentions de l’"enquête".

Cependant, c’est sur les questions proprement dites que ces trois sondages tournent à la farce tragique. Ils se résument chacun à une suite de clichés sociaux, xénophobes, antisémites, misogynes, etc, sans nuance, un catalogue de stéréotypes. Un comble notamment pour le sondage Ifop publié à l’occasion du 10e anniversaire de l’assassinat d’Ilan Halimi et commandé par l’UEFJ et SOS Racisme. Le sondeur, on est guère surpris, n’a rien n’appris des critiques qui avaient accueilli sa "grande enquête sur l’antisémitisme" publiée en novembre 2014 par le Monde et commandée par le think tank Fondapol, proche de l’UMP (cf. les critiques de Nonna Mayer, "Quand l’Ifop et Fondapol se mêlent d’antisémitisme"). Celle d’Ipsos ne vaut guère mieux mais a obtenu la caution de l’EHESS dont le logo figure en bonne place sur la première page du sondage. Le journal Le Monde ne s’est pas laissé duper par la qualité de la "chose" (cf. "Un sondage sur les clichés… lui-même bourré de clichés", Le Monde, 1 février 2016). On peine à croire que la direction scientifique de l’école ait été consultée. Le questionnaire de l’enquête de l’IEP de Grenoble est de la même veine, il est quant à lui estampillé du sceau du CNRS et de l’ANR. "On dispose enfin d’un embryon de thermomètre" a déclaré à son propos le directeur de l’enquête (l’Obs, 4 février 2016). On croirait entendre un sondeur. Un petit aperçu des questions posées permettra sans doute de mieux déceler l’origine de la fièvre des patients ainsi auscultés : le thermomètre lui même.

Extraits

- Ifop - UEJF - SOS Racisme

JPEG - 84.4 ko
JPEG - 70.1 ko
JPEG - 111.4 ko

- Ipsos - Fondation du Judaïsme Français

JPEG - 155.3 ko
JPEG - 95.1 ko
JPEG - 118.9 ko
JPEG - 170 ko

- IEP Grenoble

JPEG - 101.2 ko
JPEG - 91.3 ko
JPEG - 36.2 ko
JPEG - 41.4 ko

Appréhender le racisme, l’antisémitisme, la xénophobie, le retour du religieux etc., pour s’en inquiéter si les chiffres sont “mauvais” ou s’en “réjouir” si les chiffres sont “bons” (faibles) sur la base de réponses à des QCM truffées de connotations ou d’association d’idées xénophobes, antisémites, etc. est une démarche cavalière. Elle n’est pas sans rappeler celle de ces agents du FBI ou de policiers de la Brigade des stupéfiants qui, faute de preuve pour accuser un suspect, se déguisent eux-même en revendeurs de drogue afin de créer un flagrant délit. Autrement dit ces questionnaires sont piégés. De telles méthodes n’honorent guère leurs concepteurs, surtout lorsque les cibles sont des enfants (qui ont parfois eu le "loisir", il faut néanmoins le noter, de ne pas répondre à la question posée grâce à l’option NSP, Ne sait pas). Rien n’interdit pourtant de penser qu’une partie des sondés, peut-être pas tous très "malins", s’est pliée à l’exercice de bonne grâce (c’est sans doute le cas des collégiens), sans trop réfléchir. Au moins est on sûr par cette méthode d’obtenir ce qu’on cherche, mais ce ne sont à l’évidence pas des méthodes scientifiques.


[1Projet n° ANR-13-ORAR-0005-01 : Understanding and preventing Youth Crime : a comparative study in France, Germany, the Netherlands, the UK and the US [UPYC] Projet ISRD3 : Enquête internationale de délinquance auto-déclarée.

[29000 collégiens du département des Bouches-du-Rhône de 5e 4e et 3e ont répondu au questionnaire en classe.

Lire aussi

  • Macron : comment les sondages créent l’impopularité

    1er septembre 2017

    Rentrée politique répétitive envahie par les sondages à la faveur d’un « événement » qu’ils ont produit : Emmanuel Macron est impopulaire... déjà.
    « 57% de Français mécontents » pour l’Ifop et le Jdd qui (...)

  • Autosatisfecit de sondeur

    24 avril 2017

    C’est peu dire qu’on s’y attendait. Après avoir répété à tort et travers pendant des mois que les sondages ne sont pas une prévision, et quelques heures encore avant le scrutin que tout était encore (...)

  • Entre amis : la commission, les sondeurs...et Emmanuel Macron

    27 janvier 2017

    Le 13 décembre 2016, la commission des sondages publiait un court bilan de son activité pour les années 2015 et 2016. On sait que son contrôle est non seulement rare mais pas sévère pour ne pas dire (...)