La critique de sondages par OWNI, ou lorsque la soucoupe se plante...
Publié par Guillaume Main dans le dossier Analyse | 9 août 2010
Autant lorsque Jean-François Kahn ou Ségolène Royal décide de "se faire" un institut de sondage, l'effet de surprise est quasi nul : après tout, la discréditation des sondages est un fond de commerce et une pratique outrageusement éprouvée. Il faut bien vendre des bouquins, et en faire la promotion chez Ruquier. En revanche, si Owni se prête à son tour à ce jeu simplet, alors j'avoue que la donne n'est plus la même : on ne peut pas se targuer de décrypter l'information tout en s'attaquant à des méthodologies complexes, ne laissant (quoi qu'on en dise et contrairement à la croyance devenue populaire) strictement rien au hasard. Bon nombre de trolleurs qui ont pour passe-temps de s'attaquer aux instituts de sondage s'emploient à les démonter systématiquement, en tirant à boulet rouge sur tout ce qui leur semble, de près ou de loin, "anormal".
Owni n'est pas de cette trempe et m'a toujours habitué à des articles brillants, éclairés et à la valeur ajoutée indiscutable. Le décryptage est une matière compliquée, nécessitant un recul de tous les instants et une excellente maîtrise des sujets traités. Si Owni est incontestablement la référence du journalisme de données au sein de la blogosphère française, force est d'avouer que le magazine s'est copieusement planté dans son article "Annonces sécuritaires : IFOP a déconné", lançant une véritable fronde contre IFOP en particulier et les méthodologies sondagières en général. Ainsi l'article se révèle être une réplique mi-fadasse mi-éclairée de ce qu'on peut déjà trouver sur les très médiocres Opiniongate's Blog et Observatoire des sondages, ou encore dans L'ivresse des Sondages d'Alain Garrigou.
Or, tous ces gens ont au moins un point commun : ils n'ont vraisemblablement effleuré qu'une poignée des enjeux conditionnant le fonctionnement d'un panel d'institut de sondage. Non pas, bien sûr, qu'il soit fondamental de travailler en institut pour être capable d'en parler, mais que certains aspects du propos tiennent trop peu la route pour assurer la crédibilité du reste. Ayant été chargé de traitement statistique pendant huit ans, au sein de deux instituts de sondage, j'ai eu largement l'occasion de travailler sur des panels auto-administrés (essentiellement postaux et internet, mais aussi téléphoniques) où les sélections d'échantillon sur quotas et les redressements en tout genre étaient mon quotidien. J'ai également été programmeur de questionnaires Internet pour un de ces instituts. Par ailleurs, je m'exprime librement à ce sujet, étant actuellement à la recherche d'un emploi dans un autre secteur des statistiques.
La vérité sur les biais des différents modes de recueil
Il existe essentiellement quatre modes de recueil des données : le face à face, le postal, le téléphonique et Internet. Aucun de ces modes ne peut se targuer d'être exempt d'aucun biais : ils présentent tous des avantages et des inconvénients de taille.
- Le face à face est un mode de recueil très lent, complexe et de nature à déranger le sondé : capté dans la rue ou directement à son domicile, le contexte est rarement propice. Il est donc exclu d'aborder des sujets touchant à son intimité ou à ses convictions politiques. Le taux de remplissage est souvent mauvais, le sondé perdant vite patience.
- Le courrier est un mode de recueil lent lui aussi, adapté à des questionnaires plus longs ou aux questions ouvertes, auquel les personnes âgés répondent bien mieux que les jeunes générations. Par ailleurs, en cas de mauvais taux de retour, il est souvent trop tard et trop cher pour relancer une vague d'envois visant à combler un éventuel manque sur un quota.
- Le téléphone est un mode de recueil rapide et offrant une sensation d'anonymat assez sécurisante au sondé : sur des questions sensibles, nécessitant un aveu, il répondra plus spontanément que par courrier et se livrera plus facilement qu'en face à face. Les chômeurs et les personnes âgées sont généralement sur-représentés.
- Enfin, Internet est un mode de recueil assez pratique car très maléable : à l'instar du téléphone, il est possible de suivre en temps réel l'état d'avancement des quotas de l'étude. Les sous-représentations sont donc instantanément détectées. Si les plus âgés sont beaucoup plus difficiles à sonder, cela reste néanmoins de moins en moins vrai.
Internet, un mode de recueil aussi bon que les autres
Au final, les pondérations sont bien moins conséquentes par Internet que par courrier. C'est aussi pour cette raison que de plus en plus souvent, les instituts de sondage proposent de mener des terrains sur des modes de recueil mixtes, Internet et téléphone, avec des résultats excellents. Mais dans tous les cas, les redressements ne sont pas colossaux et n'induisent pas de problème de représentativité irrémédiable, car les panels d'institut sont régulièrement renouvelés et se voient réinjectés prioritairement des populations déficitaires (il existe des services spécialisés, "fournisseur" de panélistes d'un certain âge ou correspondant à une certaine catégorie socio-professionnelle).
De fait, compte tenu des enjeux, les clients des instituts de sondage souhaitent de plus en plus souvent connaître l'opinion et les habitudes des internautes. Internet, en tant que mode de recueil, devient alors une bénédiction puisqu'on ne cherche plus à être représentatif de la population d'un pays, mais des internautes d'un pays, ce qui n'a plus rien à voir. Ainsi, l'échantillon pourrait pratiquement être construit naturellement puisque sélectionner 1000 internautes en respectant des quotas reviendrait théoriquement à les sélectionner aléatoirement. Mais même dans ces cas là, la sélection aléatoire est proscrite et on applique des quotas afin de maximaliser la précision des résultats.
Une autre problématique d'Internet est qu'il est assez difficile de connaître le véritable profil des internautes d'un pays, puisqu'il n'existe pas à proprement parlé de recensement d'internautes (contrairement au recensement classique de la population réalisée par l'INSEE, lequel, malgré les nouvelles méthodes d'extrapolation, n'a pas d'équivalent en terme d'exhaustivité). Chaque institut de sondage dispose de son propre panel prétendument représentatif et dépassant allègrement la dizaine de milliers d'individus. Or, si on compare les différentes structures de panel d'internautes, d'un institut à l'autre, on constate qu'elles sont très proches. Il n'est donc pas rare que les instituts comparent leur structure : ils savent que cela leur permet d'affiner leur représentativité. On les compare également aux panels "Site-Centric", comme celui de StatCounter Global Stats : sans être parfait, ce type de panel contribue à améliorer la qualité d'un panel d'internautes.
Pour aller plus loin :
- Sondages en ligne : une méthodologie éprouvée par Yves-Marie Cann
- Un livre blanc sur les études en ligne par OpinionWay
Les 10 mauvaises interprétations dans l'article d'OWNI
1 - « La méthodologie du sondage nous a surpris. En effet, on n’y retrouve pas les habituels "ne se prononce pas". »
Les cases NSPP dépendent directement de la demande du client : il n'y a aucune règle absolue là dessus, à moins qu'il s'agisse d'un baromètre, auquel cas on prend soin de ne pas changer la méthode en cours de route. Les NSPP sont simplement introduites ou non aux tris élaborés selon les désidératas du client. Par ailleurs, enfonçons des portes ouvertes : sur Internet, ce sont ceux qui veulent donner leur avis qui le donnent. Ceux qui ne se prononcent pas n'ont tout simplement pas cliqué sur le lien de l'enquête.
2 - « La méthode, tout d’abord. Tous les français ne sont pas connectés à internet. »
Internet ne biaise pas plus les résultats qu'un autre support. Mieux, il reste le meilleur recueil en période estivale puisqu'il fonctionne sur un support nomade. Le téléphone portable, lui aussi parfaitement nomade, induit les mêmes biais qu'Internet (jeunes générations sur-représentés, vieilles générations sous-représentées, localisation géographique compliquée), on en retirerait donc qu'un inconvénient de taille : le coût des communications téléphoniques.
3 - « L’Ifop nous assure que les résultats sont redressés pour les 25% de non-internautes (31% selon l’ITU). »
De fait, aujourd'hui, sauf cas très particulier (tests de produits, études qualitatives), toutes les études quantitatives reposent nécessairement sur des échantillons finaux construits selon la méthode des quotas ! Mettre le doigt sur un écart de 6% entre les chiffres de l'ITU et ceux de l'IFOP ne reviendrait guère qu'à contester un petit dixième de pourcent sur le résultat d'un tri marginal, d'autant que les chiffres de l'ITU ne reposent, eux non plus, sur rien d'exhaustif, ni de parfait.
4 - « Comment contacter les estivants ? L’Ifop assure que 60% des Français ne partent pas (30% selon le Credoc, mais passons) et que ceux qui partent restent connectés. »
Pour le coup, l'argument a de quoi surprendre. Owni frise carrément la mauvaise foi ! De quoi parle-t-on ? Du nombre total de français partant en vacances durant toute l'année (chiffre du CREDOC avancé par Owni), ou du nombre de français en vacances au moment de l'enquête IFOP ? Bien entendu, on est plus prés des 60% selon l'enquête sur les conditions de vie de l'INSEE.
5 - « Est-ce qu’ils possèdent des statistiques sur le nombre de personnes ayant répondu de leur iPhone, ou ceux dont l’adresse IP montre une localisation différente de leur ville de résidence ? »
N'a-t-on pas suffisament marteler en France que l'adresse IP n'est pas une donnée fiable ? Dans le cas présent, d'autant plus sur le réseau 3G des téléphones portables, plusieurs millions d'internautes (au moins tous les clients Orange, et en grande partie des possesseurs d'iPhone justement) se connectent via une IP dynamique. Croyez-vous qu'il soit possible rapidement et sans autorisation spécifique d'analyser des adresses IP quand on est un institut de sondage ? Pour quelle fiabilité et quel résultat ?
6 - « Mais la chance et les statistiques se marient mal ensemble »
En effet ! Il n'a d'ailleurs jamais été question de cèder la moindre parcelle à « la chance » dans le champs du traitement de données statistiques. Je vous rassure, donc : la chance n'est pas une matière dispensée dans les IUT et IUP de statistiques ou même à l'ENSAE. Plus sérieusement, l'aléatoire n'est que très exceptionnellement utilisé comme modèle pour constituer des échantillons.
7 - « Il aurait pu être intéressant de demander aux sondés si ils étaient favorable à... »
Certes, la remarque est pertinente mais le sondeur n'est pas le client ! En l'occurence, le commanditaire étant Le Figaro, on peut imaginer aisément ce que cela implique sur l'orientation politique des questions.
8 - « ...revient à dire... »
Une question est une question ! On touche du doigt le problème de l'interprétation quand on en vient à dire qu'une question X « revient à » se poser une autre question Y. Restons pragmatique ! Si une question est mal posée ou ambigüe, c'est effectivement un problème auquel il aurait fallu s'attaquer en amont. On n'y peut plus rien une fois le terrain finalisé. Au passage, pourquoi OWNI ou Marianne ne commanderaient-ils pas un sondage en bonne et due forme, en posant les questions qu'ils estiment légitimes et adaptées ? Comme le font d'ailleurs régulièrement le Parti Socialiste, la Mairie de Paris ou Le Monde en s'adressant à... Opinion Way (!).
9 - « Cette erreur d’interprétation était d’autant plus à éviter en 2002 que le nombre de sondés qui se déclaraient indécis était toujours très important. »
Alors on le savait ? Si l'information de cette indécision était connue, alors c'est qu'elle était fournie par les instituts de sondage. Pourquoi donc les journalistes ne se la sont pas appropriée ? Et pourquoi reporter la faute sur les instituts de sondage si les journalistes ont joué l'intox !? Pour information, le problème s'était déjà posé lors des présidentielles de 1974. Si les journalistes s'étaient souvenus que ces sondages ont pour vocation d'être des révélateurs de tendance, alors probablement auraient-ils "démasqué" la nette croissance du vote Front National au cours des dernières semaines précédant le premier tour des présidentielles de 2002.
10 - « Mieux, elle avait même rédigé les questions que l’institut a posé aux sondés, qui devaient peu ou prou répondre à cette question... »
Oui, c'est tout ce qu'il y a de plus classique, et je me répète : les clients posent les questions, ils sont les commanditaires et apportent évidemment toute la matière première du sondage. De plus, compte tenu de la nature de certains sondages (ceux de type Omnibus), il est probable que l'institut n'ait de toute façon pas le temps matériel pour réviser l'intégralité du questionnaire. Puis, généralement, on le prie de ne pas le faire, tout simplement.
Le sempiternel amalgame entre les métiers, les types de données...
Les critiques de sondage tombent systématiquement dans les mêmes travers : on amalgame les méthodologies, les questions, les chiffres (données à priori objectives, fournies en tant que telles), avec les analyses de tout poil qui en sont faites (analyses forcément subjectives). On confond le pragmatisme des questions et des résultats chiffrés, avec l'interprétation sujette à caution qui en est faite en aval : on mélange les métiers (institut de sondage, analyste, journaliste, client, prestataire, commanditaire...), les données à analyser (tantôt on prendra un chiffre dans un tableau, tantôt une interprétation bancale qu'on prendra soin de mettre sur le même plan). Puis, on se contente de pointer l'institut du doigt, responsable sans distinction de tous les maux.
Car, comme d'habitude dans ce type d'incrimination, on voit la paille dans l'oeil du sondeur sans que le journaliste voit la poutre qu'il a dans le sien : un des plus forts biais des sondages est relatif aux erreurs d'interprétation, mais aussi aux partis pris des journalistes politiques, métier sur lequel il y aurait également beaucoup à dire en matière de conflit d'intérêt. La preuve : quand les résultats d'une enquête n'arrangent pas ses commanditaires, ça donne ce fameux sondage IPSOS sur les pratiques de piratage, très très peu relayé.
Pourquoi incriminer l'institut de sondage lorsqu'on évoque le manque de neutralité des questions posées ? C'est comme si vous trouviez logique qu'un publicitaire refuse un slogan qui sonne bien sous prétexte qu'il est ambigu ou mensonger. Les sondages n'ont jamais eu pour vocation d'être non partisan, et s'intègrent désormais naturellement dans les campagnes de communication. Le sondeur n'a pas à juger le bien fondé d'une question. On peut éventuellement le déplorer, mais il me semble malhonnête d'en tenir rigueur à l'institut de sondage qui vend une prestation de conseil et met ses panélistes à la disposition du client. Le commanditaire et l'analyste sont libres d'estimer si les données sont à la hauteur de ce qu'ils essayent de prouver. Les aberrations qui en résultent ne sont pas le fait des instituts.
Conclusion
L'absence de fiabilité du mode de recueil par Internet est un mythe : le même mythe qui fit passer le mode de recueil téléphonique pour une aberration méthodologique il y a une quarantaine d'années. Naturellement, le problème essentiel qui se pose aujourd'hui pour le sondeur est celui de la véracité des opinions et comportements déclarés par le sondé. Le panéliste nous dit-il la vérité ? Si le problème se pose de plus en plus dans le cadre des sondages d'opinion politique, je doute qu'il en soit de même avec les autres types d'étude. D'autant que les sondages d'opinion, s'ils constituent la vitrine d'un institut, ne représentent guère qu'une petite dizaine de pourcent de son chiffre d'affaire global.
L'institut de sondage joue certes son rôle de conseil, mais il est avant tout là pour se porter garant de la fiabilité des résultats, quand bien même les questions seraient non pertinentes ou mal posées. L'institut n'est pas tout puissant : il est souvent pieds et poings liés aux désidératas du client, dans un contexte concurrentiel très fort. La super caste des professeurs en science politique, sorte de lobby anti-sondage, use de leur verve outrancière et mène la fronde, refusant catégoriquement d'entrer dans la sphère des considérations techniques. Et se défendre attise systématiquement la suspicion... De trop rares spécialistes (comme le très fiable Dr Panel sur Rue89) aiment encore soulever le capot et comprendre comment ça marche.
Commentaires
Le problème c'est qu'avant même la technique de sondage, se pose un problème basique de validité de contenu. Pour reprendre des éléments basique de méthode d'enquête, il faut un minimum de validité de contenu : que l'instrument mesure ce qu'il doit mesurer.
On ne voit pas comment des questions négociées, peuvent mesurer quoique ce soit de solide, pour ne pas dire de scientifique. On voit mal le médecin négocier avec la secu la graduation du thermomètre.
http://i-marketing.blogspot.com/201...
Excellent article Guillaume, totalement objectif, ce qui est loin d'être la règle dans ce type d'articles sur Internet !
Salut Thierry ! Je te remercie et je suis flatté que tu lises mon blog. ;)
@Benavent : il existe tout de même des méthodes éprouvées, d'autres délaissées au profit de techniques plus efficientes, des panels dont l'efficacité est préalablement testée et en perpétuelle amélioration. Rien n'est figé ! D'autre part, la structure d'un panel est toujours suivie d'extrêmement près : tableaux de bord, tris croisés, renouvellement du panel, système de purge, taux de charge des panélistes etc...
Ouche !
J'ai découvert cet article au fil de mes pérégrinations et j'avoue que là c'est du lourd. Si le coeur m'en dit je reprendrais tout ça plus tard en détail. Mais afficher un tel cynisme est rare. En particulier :
"Les sondages n'ont jamais eu pour vocation d'être non partisan, et s'intègrent désormais naturellement dans les campagnes de communication. Le sondeur n'a pas à juger le bien fondé d'une question."
Stoezel doit se retourner dans sa tombe le pauvre ! C'est justement un des arguments phares des sondeurs : rendre objectivement compte de ce que pense l'opinion (que personne n'est capable de définir au demeurant). Vous n'avez semble t-il aucune connaissance sur l'histoire des sondages d'opinion ? Lisez Loïc Blondiaux et Desrosières aussi tiens, ça ne pourra pas vous de mal !
Allez une autre :
"Si les journalistes s'étaient souvenus que ces sondages ont pour vocation d'être des révélateurs de tendance, alors probablement auraient-ils "démasqué" la nette croissance du vote Front National au cours des dernières semaines précédant le premier tour des présidentielles de 2002."
Révélateurs de tendance. Ahhh, les sondeurs rappellent-ils les marges d'erreur ? Rappelle t-il que le résultat n'est pas la certitude que la population de référence ait cette opinion ? De moins en moins. Pire, la partie finit toujours par être prise pour le tout. Ainsi, les deux tristes hères de l'Ifop terminent leur présentation de "l'étude" par "67% des Français sont favorables à la mise en place de 60.000 caméras de vidéo-surveillance d'ici à 2012."
http://www.ifop.com/?option=com_pub...
Une dernière juste pour la route :
"De trop rares spécialistes (comme le très fiable Dr Panel sur Rue89) aiment encore soulever le capot et comprendre comment ça marche."
http://www.rue89.com/en-faire-un-so...
Bref, si les sondeurs étaient tous comme vous, les sondages d'opinion finiraient très vite au fond de la poubelle du coin.
Cynisme, "du lourd" ? Et bien... Ça part du bon pied, dîtes moi ! :)
Alors entrons dans le vif du sujet.
La validité d'un sondage ne résident pas dans l’élaboration des questions. Elle réside dans la création d’un échantillon, selon des règles de représentativité, régis par des quotas correspondant à des données statistiques vérifiées portant sur une population exhaustive (le recensement par exemple). La validité d'un sondage réside également dans la mise en place de pondérations, de redressements consentis à postériori pour restructurer un échantillon éventuellement déformé par des contraintes de population.
Le reste, c’est du marketing (ou du journalisme). Et c'est ce "reste" qui fait qu'aujourd'hui les bien-pensants s'insurgent du manque de fiabilité des instituts de sondage.
Stoezel ? Ah, Stoetzel peut-être ? Que de chemin parcouru entre Stoetzel et Laurence Parizot, ne trouvez-vous pas ? Petit décryptage : là oui, je suis cynique. Que de pain béni pour les détracteurs des sociétés de sondage, n'est-ce pas ? Pensez donc : une ex-présidente d'institut, aujourd'hui présidente du MEDEF...
Loïc Blondiaux ? Oh ! Un professeur en "science" politique... Non désolé, dans la mesure du possible, j'essaye tout de même d'avoir des lectures sérieuses. Par contre, oui, je connais Desrosières, merci de vous en inquiéter. Mais pardonnez moi encore une fois, je connais en revanche encore mieux la véritable et passionnante génèse des sondages d'opinion (avez-vous déjà entendu parler de Gallup ?...).
Les marges d'erreur des sondeurs, quel argument de poids... Encore faut-il être un peu renseigné. Le CESP est un organisme indépendant qui veille au grain. Du coup, lorsque vous dîtes de "moins en moins", c'est juste tout l'inverse : le CESP est d'une part de plus en plus sollicité (comme gage de validation de la qualité d'un sondage) et d'autre part, joue son rôle en incitant les instituts à publier les marges. Or, il suffit de lire les rapports d'étude : il est devenu rare qu'un tableau ne soit pas accompagné de cette fameuse marge d'erreur.
Tenez un exemple : quand un sondage IPSOS s'attèle à sonder l'opinion sur un sujet comme HADOPI, le tout sans commanditaire, il n'est tout simplement pas relayé par les médias. Aussi : comprenez-vous le rôle du marketing et des journalistes que j'évoquais un peu plus haut ? J'ai envie de dire CQFD. ;)
Ah ben pour entrer dans le vif du sujet, on y entre de plein pied :D
"La validité d'un sondage ne réside pas dans l’élaboration des questions."
En d'autres termes, le but n'est pas de connaître l'opinion des gens, mais de donner des éléments permettant ensuite au client/commanditaire du sondage d'exhiber les chiffres obtenus pour signaler que l'opinion publique est de son côté. Et derrière le client, c'est évidemment le Gouvernement et l'UMP.
http://www.lemouvementpopulaire.fr/...
Pour Blondiaux, il faut oser. L'avez-vous lu ? Il est évident que malgré votre déclaration de circonstance en début de votre article, vous récusez toute critique des sondages, tant sur le plan de la méthode que des résultats. Les sondeurs ont les mains blanches. Ils ont longtemps ramé pour faire valoir l'intérêt de leur méthode (scientifique, objective disait-on à l'époque)En ce qui concerne Gallup, parmi les arguments invoqués initialement, le but était de permettre à ceux qu'on entend jamais de s'exprimer. Comment faire entendre la voix des plus démunis dans un sondage par internet ? On suppose qu'ils pensent telle ou telle chose sur le sujet abordé ? Bref, on revient à la période qui a précédé les sondages d'opinion ou chacun se fait le porte-parole de l'opinion publique. L'hypocrisie ambiante tient au fait que les sondeurs nous disent que leur travail est objectif, ce qu'il n'est absolument pas !
"il est devenu rare qu'un tableau ne soit pas accompagné de cette fameuse marge d'erreur."
???? J'ai beau chercher depuis un moment un exemple validant cette affirmation, je n'en ai pas trouvé ! Si il existe encore, le moins qu'on puisse dire est que c'est loin d'être la norme.
Plus généralement, le problème des sondages d'opinion est un problème d'inférence statistique et plus généralement d'induction, problème avec lequel les sociologues se débattent tant bien que mal. Voir à ce titre l'ouvrage destiné aux étudiants en sociologie de Selz et Maillochon.
Question finale, que pensez-vous des arguments d'un Roland Cayrol ou d'un Stéphane Rozès ?
http://www.csa-fr.com/group/group20...
Tout dépend de ce dont on parle. Comme d'habitude, on finit très rapidement par tout mélanger puis par piocher les beaux arguments dans un grand chapeau, n'importe lequel pourvu qu'il arrange.
Il y a deux choses à entrevoir :
- la première, c'est la véritable difficulté technique et méthodologique qu'implique un sondage dans certains cas particuliers. Cette difficulté devient un vrai débat et un problème lorsque les sondeurs touchent aux limites intrinsèques de la technique de sondage comme c'est parfois le cas lors des élections présidentielles (entre Le Pen et Jospin en 2002, ou entre Giscard et Mitterrand en 1974). Là oui, on peut se fendre d'un petit plaidoyer sur les sondages pour rassurer les gens et se montrer un peu pédagogique.
- la seconde, c'est le problème qui oppose le client au prestataire de service. Le client est roi que le prestataire de service soit un publicitaire, un graphiste ou un institut de sondage. Si le service commandé contient (délibérément ou pas) des éléments de nature à entacher le résultat final, alors on peut difficilement ne pas incriminer le... CLIENT. Si l'institut n'adhère pas à la commande de son client, doit-il forcément refuser d'honorer la commande ? Par ailleurs, le problème est souvent beaucoup plus terre à terre : le client apporte la matière première d'un sondage. Or, du chargé d'étude jusqu'au directeur de clientèle d'un institut de sondage, pensez-vous qu'ils maitrisent à la perfection les sujets qu'on les fait aborder ?
"Et derrière le client, c'est évidemment le Gouvernement et l'UMP."
Ou pas ! Quel est votre argumentaire lorsque le client est Marianne et que les résultats vont tous soigneusement à contre courant du sondage réalisé 5 jours plus tôt par Le Figaro ? (Insécurité : 70 % des Français lâchent Sarkozy)
Le problème provient donc bien des questions posées. Par commodité, voire abus de langage, on va dire qu’une question est "mal posée". Mais "mal posée" par rapport à quoi ? Par rapport à quel référentiel ? Existe-t-il une encyclopédie des questions de référence non biaisée, avec une garantie scientifique de leur neutralité ? Le langage est-il une science ? etc…
"Comment faire entendre la voix des plus démunis dans un sondage par internet ?"
Êtes vous en train d'essayer de me faire croire que les "plus démunis" sont précisément les 30% de français non connectés à Internet ? Un peu de réalisme... La fracture numérique est générationelle, et dans une moindre mesure géographique. Il est aujourd'hui moins cher d'être connecté à Internet que d'être abonné à un grand quotidien.
On continue dans le désordre:
"Quel est votre argumentaire lorsque le client est Marianne et que les résultats vont tous soigneusement à contre courant du sondage réalisé 5 jours plus tôt par Le Figaro ?"
Le même à peu de choses près. Ce genre de sondage est tout aussi partisan et vise à instrumentaliser l'opinion publique dans le sens voulu. Qui peut en effet donner un avis sur le bilan de la politique menée en matière de sécurité intérieure sur les huit dernières années (soit depuis que la droite est aux commandes) ? Moi pas. Qu'entend t-on par sécurité intérieure au demeurant ? Bien évidemment, vous allez me dire, mais y'a le choix, ne se prononce pas. Ouf, l'honneur est sauf... Invite t-on les personnes à la réflexion, à se documenter sur le sujet (à l'image des sondages délibératifs de Fishkin) ou leur demande t-on uniquement de réagir spontanément avec leurs idées reçues ? C'est en filigrane une vision du jeu démocratique qui se laisse entrevoir.
"Mais "mal posée" par rapport à quoi ? Par rapport à quel référentiel ? Existe-t-il une encyclopédie des questions de référence non biaisée, avec une garantie scientifique de leur neutralité ? Le langage est-il une science ? etc…"
C'est là une forme de relativisme, de laisser-aller dramatique. Avant de parler en terme de neutralité axiologique (ce vers quoi il faut tendre), j'estime qu'il serait déjà bon de s'interroger sur la frénésie des sondages où semble t-il on juge important de connaître l'opinion des Français sur tout et n'importe quoi. Mais encore une fois, vous allez me dire que les instituts de sondage ne font que répondre à une demande. A ce titre, et la démonstration de Blondiaux est convaincante, l'Ifop est né avant que la demande n'existe. Les sondeurs ont longtemps fait leur publicité. Ils ne peuvent guère se plaindre d'être esclaves de leurs clients puisque pendant quelques décennies, le problème était d'en avoir !
"Le problème provient donc bien des questions posées."
Ah bon ? L'échantillonnage, le mode de recueil n'entre pas en ligne de compte ? On reproduit inlassablement la même procédure. Le métier de sondeur semble figé dans le temps sur le plan de la méthode basique. On élimine tout ce qui gêne, on fait "comme si". Peut-on calculer une marge d'erreur avec la méthode des quotas ? Non. Mais on juge qu'en pratique ça marche. youpi, ça c'est du haut niveau scientifique...
"Êtes vous en train d'essayer de me faire croire que les "plus démunis" sont précisément les 30% de français non connectés à Internet ? Un peu de réalisme... La fracture numérique est générationelle, et dans une moindre mesure géographique. Il est aujourd'hui moins cher d'être connecté à Internet que d'être abonné à un grand quotidien."
Ce passage est intéressant à plus d'un titre. Il offre un exemple de l'usage du chiffre dans l'argumentation comme preuve. D'où tirez-vous qu'il y a 30% de Français qui n'ont pas Internet ? D'un sondage comme celui du Credoc (très intéressant car du point de vue méthodologique quand même sacrément plus rigoureux que ceux des instituts de sondages jusque là observés) :
http://www.arcep.fr/uploads/tx_gspu...
Il est donc plus juste de dire qu'on estime que 30% de la population ne possède pas de connexion Internet à leur domicile... mais on en est pas sûr à 100%. Oui, je le répète, j'ai énormément de mal à réfléchir en termes probabilistes. Je comprends bien que pour l'Etat ou une entreprise il faille bien souvent agir en fonction de données parcellaires, mais est-il utile de générer autant d'enquêtes par sondage dont une bonne partie mériterait d'être purement et simplement jetée par manque évident de rigueur ?
Revenons d'ailleurs sur ce chiffre de 30%. Comment peut-on dire que les sondages par Internet sont fiables ? On pondère les catégories sous-représentées ? Comment ? Ne risque t-il pas d'y avoir un biais ? Peut-on considérer l'opinion d'une personne âgée qui a accès à un vaste réseaux d'informations avec une autre qui n'y a pas accès ?
Dernier point pour la forme :
"Il est aujourd'hui moins cher d'être connecté à Internet que d'être abonné à un grand quotidien."
Seul petit problème, pour avoir une connexion à Internet, encore faut-il avoir un terminal...
"Ce genre de sondage est tout aussi partisan et vise à instrumentaliser l'opinion publique dans le sens voulu."
Entièrement d'accord, c'est d'ailleurs ce que j'essaye d'expliquer depuis des lustres. Rien de plus à ajouter sur ce point, si ce n'est qu'il s'agit donc bien d'une problématique qui dépasse largement le champs de l'institut de sondage !
"J'estime qu'il serait déjà bon de s'interroger sur la frénésie des sondages où semble t-il on juge important de connaître l'opinion des Français sur tout et n'importe quoi."
Je suis OK également ! Et oui, je vais vous dire que les instituts de sondage répondent à une demande. Par contre, je serais plus modéré sur le fait que les premiers instituts soient nés avant que la demande n'existe : Stoetzel tendait à dire l'inverse en 1938. La demande émanait déjà des entreprises et institutions administratives ou politiques. Par ailleurs, ils ne se plaignent évidemment pas "d'être esclaves de leurs clients". Vous prêtez aux détractés les propos des détracteurs...
"Ah bon ? L'échantillonnage, le mode de recueil n'entre pas en ligne de compte ?"
Ah, ça y est, on commence à frôler la mauvaise foi ! Avez-vous lu (compris) mes précédents commentaires ? Comme je l'ai dit déjà plusieurs fois, l'échantillonnage (entre autre) joue évidemment un rôle très important dans l'élaboration d'un sondage. Je n'ai dit nulle part le contraire. En revanche, dans le passage que vous avez recopié, il était question des sondages du Figaro et de Marianne que j'oppose clairement l'un à l'autre sur leur forme. Comme cela a été relevé dans plusieurs magazines (OWNI et Rue89 pour n'en citer que deux), le problème provient bien de la formulation des questions.
"Il offre un exemple de l'usage du chiffre dans l'argumentation comme preuve."
Croyez vous sérieusement que les chiffres du recensement de la population française (INSEE donc) soient moins fiables que ceux du CREDOC ? Ou tenez vous à en faire une utilisation à la louche comme s'est amusé à le faire OWNI (en se trompant) sur les vacances des français ? Avez-vous rigoureusement défini l'accès à Internet ? Ai-je évoqué l'accès à Internet à DOMICILE exclusivement ? Est-il inapproprié de parler des individus qui se connectent depuis leur lieu de travail, depuis un cybercafé etc...?
"Comment peut-on dire que les sondages par Internet sont fiables ?" (etc)
Euh... Avez-vous lu l'article sous lequel vous êtes en train de commenter ? Là sincèrement, sans ironie, je me pose la question... Il y a deux énormes paragraphes sur le sujet. C'est amusant : on prête à Internet les mêmes biais qu'on prêtait successivement aux sondages postaux, puis téléphoniques en leur temps. ;)
"Seul petit problème, pour avoir une connexion à Internet, encore faut-il avoir un terminal..."
C'est bien d'enfoncer des portes ouvertes. Tenez, moi aussi je m'y mets : pour regarder la télévision, il faut un téléviseur. Pour téléphoner, il faut un téléphone etc...