Opaques sondages
Ah les sondages, leur facilité, leur charme, l’impression d’avoir la preuve de gagner, de savoir avec certitude là où aller … Le sondage est devenu l’outil indispensable dont les médias et les candidats se délectent goulûment dans la simplicité de quelques chiffres. Et son petit minorant habituel lorsqu’il a l’air de dire que le vent ne tourne pas dans la bonne direction : « Les sondages ne veulent rien dire, de toute façon je ne calque pas mon comportement sur les sondages ».
Je vous propose quelques découvertes que j’ai faîtes personnellement sur ces instruments si médiatisés.
La première, en relation avec ce domaine des mathématiques qu’on nomme statistiques, c’est que les instituts emploient une méthode particulière, dénommée méthode des quotas, qui consiste à « sélectionner un échantillon qui soit un modèle réduit de la population sur certains critères de partitionnement dont on peut penser qu’ils ont un lien avec la thématique de l’enquête ». Le problème de cette méthode, c’est :
En d’autre terme, nous ne pouvons accorder notre confiance aux sondages que dans la mesure où ils ne se sont pas trop trompés par le passé … or le passé ne préfigure jamais l’avenir évidemment.
La deuxième, c’est que les résultats publiés par les instituts ne sont pas directement les résultats bruts obtenus. Ils sont corrigés par la suite par ce qu’on appelle une matrice de redressement, qui consiste à ajuster le poids de chaque réponse collectée de manière à ce que l’échantillon soit rapproché des caractéristiques de la population entière. Il existe ainsi des ajustements pour rétablir les contingents de personne qui n’avouent pas facilement leur préférence (pour l’extrême droite en particulier). Ce sont des masses d’études électorales sur plusieurs années qui sont utilisées.
En conséquence, les résultats sont réajustés sur la base de données datant d’élections précédentes. Cet ajustement est par ailleurs limité par la Commission des Sondages. Il rend encore moins fiables les estimations du vote des extrêmes, en particulier de l’extrême droite.
Ipsos, sur son site Web, mentionne à plusieurs reprises l’exercice et des difficultés passées, et reconnaît que le redressement pose parfois de « sérieux problèmes ». En particulier, il semble, pour Ipsos, que ce soit le résultat de la dernière élection qui influence de manière importante le redressement. Qu’un parti est fait un score historiquement faible à cette élection, et il a des chances d’être sous-estimé.
La troisième, c’est que la taille de l’échantillon n’a rien à voir avec la taille de la population. Plus l’échantillon est important, plus la précision du sondage est grande. Si la méthode de tirage au sort aléatoire était utilisée pour faire les sondages, et non pas les quotas, un échantillon de 1000 personnes donnerait un résultat bon à 3% près avec 95% de change de ne pas se tromper. On peut en conclure, les sondages par quotas sélectionnant des échantillons de moins de 1000 personnes généralement, que leur marge d’erreur est d’au moins 3% à 95% de chance.
Bref, ce serait tellement plus intéressant, plutôt qu’on nous balance les résultats sans recul, d’avoir un peu plus de données sur les sondages réalisés ! Redressement, taux de rejet … Pourquoi ces informations ne sont-elles pas disponibles ? Car elle brouillerait l’image du produit et en dévoilerait un des rouages aux concurrents.
On ne peut que conclure sur l’opacité de ces outils et se garder de céder à la tentation d’y voir l’expression d’une prédiction.
Je vous propose quelques découvertes que j’ai faîtes personnellement sur ces instruments si médiatisés.
La première, en relation avec ce domaine des mathématiques qu’on nomme statistiques, c’est que les instituts emploient une méthode particulière, dénommée méthode des quotas, qui consiste à « sélectionner un échantillon qui soit un modèle réduit de la population sur certains critères de partitionnement dont on peut penser qu’ils ont un lien avec la thématique de l’enquête ». Le problème de cette méthode, c’est :
- qu’elle ne permet pas de calculer un intervalle de confiance, c’est-à-dire de dire que le score mesuré par le sondage est valide à X % près avec Y % de chance,
- qu’il est difficile de trouver les bons critères de partitionnement, ceux qui sont étudiés classiquement sont l’âge et la région, parfois les catégories professionnelles.
En d’autre terme, nous ne pouvons accorder notre confiance aux sondages que dans la mesure où ils ne se sont pas trop trompés par le passé … or le passé ne préfigure jamais l’avenir évidemment.
La deuxième, c’est que les résultats publiés par les instituts ne sont pas directement les résultats bruts obtenus. Ils sont corrigés par la suite par ce qu’on appelle une matrice de redressement, qui consiste à ajuster le poids de chaque réponse collectée de manière à ce que l’échantillon soit rapproché des caractéristiques de la population entière. Il existe ainsi des ajustements pour rétablir les contingents de personne qui n’avouent pas facilement leur préférence (pour l’extrême droite en particulier). Ce sont des masses d’études électorales sur plusieurs années qui sont utilisées.
En conséquence, les résultats sont réajustés sur la base de données datant d’élections précédentes. Cet ajustement est par ailleurs limité par la Commission des Sondages. Il rend encore moins fiables les estimations du vote des extrêmes, en particulier de l’extrême droite.
Ipsos, sur son site Web, mentionne à plusieurs reprises l’exercice et des difficultés passées, et reconnaît que le redressement pose parfois de « sérieux problèmes ». En particulier, il semble, pour Ipsos, que ce soit le résultat de la dernière élection qui influence de manière importante le redressement. Qu’un parti est fait un score historiquement faible à cette élection, et il a des chances d’être sous-estimé.
La troisième, c’est que la taille de l’échantillon n’a rien à voir avec la taille de la population. Plus l’échantillon est important, plus la précision du sondage est grande. Si la méthode de tirage au sort aléatoire était utilisée pour faire les sondages, et non pas les quotas, un échantillon de 1000 personnes donnerait un résultat bon à 3% près avec 95% de change de ne pas se tromper. On peut en conclure, les sondages par quotas sélectionnant des échantillons de moins de 1000 personnes généralement, que leur marge d’erreur est d’au moins 3% à 95% de chance.
Bref, ce serait tellement plus intéressant, plutôt qu’on nous balance les résultats sans recul, d’avoir un peu plus de données sur les sondages réalisés ! Redressement, taux de rejet … Pourquoi ces informations ne sont-elles pas disponibles ? Car elle brouillerait l’image du produit et en dévoilerait un des rouages aux concurrents.
On ne peut que conclure sur l’opacité de ces outils et se garder de céder à la tentation d’y voir l’expression d’une prédiction.