observatoire des sondages

L’humour (involontaire) de la commission des sondages

jeudi 29 septembre 2011

Habituellement chiche de ses interventions, la commission des sondages vient de montrer une forte hausse d’activité en publiant son deuxième communiqué sur la primaire socialiste [1]. L’appel de la haute autorité des primaires citoyennes (instance de contrôle des socialistes) a suscité ses remarques dont l’humour ne sautera peut-être pas à tous les yeux. A nous de le souligner par nos observations sur ses observations :

- "Compte tenu de leur rapport indirect mais certain avec l’élection présidentielle, la commission a décidé, comme elle l’avait fait en 2006 et également cette année pour les primaires organisées par Europe-écologie Les Verts, de contrôler systématiquement les sondages relatifs aux « primaires socialistes » sur le fondement de l’article 1er de la loi du 19 juillet 1977 modifiée".

La commission se déclare compétente ... comme en 2006. Cette année là elle avait publié une mise au point où figure exactement les mêmes observations que celles contenues dans le présent communiqué... 5 ans plus tard [2].

- "Dans le cadre de son contrôle, la commission n’intervient publiquement sous forme de « mise au point » que dans deux hypothèses, soit que les méthodes utilisées par l’institut de sondage appellent des observations particulières, soit que les modalités de publication ne répondent pas aux exigences requises par la loi. Aucun des 23 sondages relatifs aux « primaires » contrôlés jusqu’à ce jour n’a justifié une telle intervention".

La commission a compté 23 sondages... c’est-à-dire sans doute les 23 sondages pour lesquels elle a reçu une fiche technique. A moins qu’elle ait commencé à compter tardivement. L’Observatoire des sondages en a compté 34 entre le 31 mars 2009 et le 15 septembre 2011. Tous les observateurs ont souligné les problèmes de méthode. Les sondeurs eux-mêmes les ont concédés. Seule la commission n’avait rien vu. Bienvenue sur terre.

- "La commission tient néanmoins à souligner la difficulté particulière que soulève la réalisation de ces sondages. Elle tient à l’impossibilité de définir la base électorale de ces « primaires » ouvertes, pour lesquelles il n’existe au surplus aucun précédent pertinent. En dépit des précautions prises par les instituts qui réalisent généralement leurs enquêtes auprès des sympathisants de gauche et des sympathisants socialistes, l’échantillon des personnes interrogées est susceptible de ne pas être vraiment représentatif de celles qui se déplaceront effectivement pour désigner le candidat du parti socialiste. Il en résulte que doit être évitée toute extrapolation des résultats obtenus dans le cadre de ces sondages qui doivent être interprétés avec la plus grande prudence".

Cette confirmation tardive de la difficulté ressemble fort à une excuse préliminaire pour les sondeurs. La recommandation "d’éviter toute extrapolation" met simplement en cause le principe des sondages qui est la représentativité. Celle-ci suppose justement que l’on puisse extrapoler. Si on ne le peut plus, il n’y a plus de sondage. La commission n’a donc pas compris ce qu’elle était censée contrôler.

- "La commission rappelle enfin que lorsque les résultats sont établis sur la base d’échantillons ou de sous-échantillons de taille particulièrement réduite, la publication des résultats obtenus doit indiquer qu’il convient de les interpréter en tenant compte de la marge d’incertitude importante qui les affecte".

La commission n’a pas réagi pour des sous échantillons de 171 personnes (Opinioway), 142 persones (CSA) 106 personnes (Ifop), etc [3]. A partir de quelle taille y a-t-il problème ? 50, 40, 30, moins ?

- "Ces observations conduisent à relativiser la portée qu’il convient d’accorder aux sondages déjà publiés. La commission rappelle aux instituts et aux organismes de presse qu’ils sont tenus, pour les enquêtes à venir, d’en tenir le plus grand compte".

Nouvelle et vaine prière.


[1Cf. Communiqué de la commission des sondages du 21 septembre 2011.

[2Taille de l’échantillon (trop faible), et nature de l’échantillon (composée de sympathisants socialistes alors que le vote n’était ouvert qu’aux adhérents). Cf jurisprudence de la commission des sondages, mise au point du 21 septembre 2006, 4-1 : Contrôle de la composition de l’échantillon ; 4-2 : Contrôle de la taille de l’échantillon.

Lire aussi

  • Commission des sondages : le ver est dans le fruit

    3 février 2023

    Le 18 janvier 2023 la commission publiait le dernier rapport d’activité de sa mandature relatif à la présidentielle et aux législatives. Le jour (une coïncidence ?) où le Canard Enchainé annonçait la (...)

  • Des nouvelles de la commission des sondages

    18 décembre 2015

    Dans un rapport publié le 25 octobre 2010 une commission sénatoriale sur les sondages insistait explicitement sur le problème de la passivité et implicitement sur le manque de compétence des membres (...)

  • Réveil de la commission des sondages ?

    3 octobre 2011

    La commission des sondages a publié le 30 septembre 2011 un désaveu inhabituel du sondage CSA-BFM TV, RMC et 20minutes (22 septembre 2011).
    « La méthode utilisée par l’institut CSA pour établir les (...)