Contrairement à une idée reçue, les principaux biais des sondages ne concernent que très rarement les techniques d'échantillonnage ou les méthodologies liées aux modes de recueil. En réalité, il s'agit plutôt de celui lié à l'élaboration du questionnaire. Poser correctement une question, aussi simple que cela puisse paraître, nécessite beaucoup de précaution, car tout a de l'importance : l'ordre, la syntaxe, la formulation, la complexité, le champ lexical ou encore l'ambivalence des questions.

En Septembre 2009, Science et Avenir publie les résultats d'une expérience reposant sur l'administration d'un sondage aux lecteurs internautes du magazine. Le sondage est soumis aléatoirement en trois versions :

  • sondage 1 : la question A consiste en des affirmations préparatoires à effet négatif
  • sondage 2 : la question A consiste en des affirmations préparatoires à effet positif
  • sondage 3 : la question A n'est pas posée
  • dans les trois sondages, la question B est invariablement la même

Les résultats reposent sur les réponses spontanées de 530 internautes ayant répondu à un des trois sondages, et sont statistiquement significatifs.

Les conséquences du conditionnement négatif sur les résultats

Il apparaît que le conditionnement négatif a fonctionné : la proportion des internautes n'ayant pas répondu "Pour" à la question B du sondage 1 est au moins deux fois plus élevée que pour les sondages 2 et 3 (31% contre 15% et 14%). En revanche, le conditionnement positif du sondage 2 n'est pas observable : les résultats sont similaires à ceux du sondage 3.

En psychologie, ce phénomène est appelé effet de priming (ou effet d'amorçage) : il s'agit de l'orientation inconsciente provoquée par des notions incluses volontairement (ou non) pour influencer un jugement. On se doute donc bien à quel point cette technique est utilisée dans les journaux télévisés, la presse ou la publicité. Mais elle peut s'immiscer dans n'importe quelle composante de la vie quotidienne à partir du moment qu'il est question de "convaincre" ou d'orienter une opinion, une arme de lobby très puissante donc.

L'effet de priming dans les sondages consacrés à l'écologie

Dans l'expérience du magazine Science et Avenir, le conditionnement positif consiste à introduire des considérations éthiques, écologiques et environnementales, tandis que le conditionnement négatif consiste à introduire des considérations politiques, sociales et économiques.

L'interviewé confronté au conditionnement négatif (sondage 1) est face à un dilemme qui oppose le binôme explicite "chômage et taxes" au binôme implicite "santé et pollution". L'un est explicite car évoqué dans l'intitulé de la question, tandis que l'autre est implicite (non évoqué). L'expérience démontre que l'interviewé confronté au conditionnement positif (sondage 2) est beaucoup moins incité à se prononcer contre les mesures visant à réduire les émissions de gaz à effet de serre. Enfin, les résultats du sondage 3 sont sensiblement identiques à ceux du sondage 2 : cette absence d'influence peut s'expliquer par le fait que le grand public est déjà très largement exposé à un conditionnement positif implicite sur ce sujet.

Mettons de côté l'expérience de Science et Avenir, et penchons-nous sur ce sondage de Yougov (soumis à 998 adultes français en juillet 2013). Nous avons vraisemblablement à faire à une étude omnibus, c'est à dire mélangeant des questions traitant toute sorte de thématiques, impliquant presque autant de commanditaire qu'il y a de question (offrant ainsi l'avantage de réduire les coûts de fabrication). Dans celui-ci, il est question de : don aux partis politiques, gaz de schiste, niveau de vie des retraités, dopage dans le sport, horoscope et équipement de bureau. Difficile donc de faire plus hétéroclite. La question qui nous intéresse traite du gaz de schiste et voici son intitulé :

Le gaz de schiste est une forme de gaz naturel présent dans les sols qui permet de produire de l’énergie. La France dispose de réserves de gaz exploitables, mais les méthodes d’exploitation qui existent actuellement sont polluantes. Certains pays ont autorisé l’exploitation du gaz de schiste, d’autres non. L’exploitation du gaz de schiste n’est pas autorisée en France aujourd'hui.

Seriez-vous favorable ou opposé(e) à l'autorisation d'exploiter le gaz de schiste en France ?

On observe bien toute la prudence dont il fallait faire preuve. Le paragraphe préliminaire est important puisqu'il contextualise la question et permet théoriquement de répondre de manière éclairée. Le conditionnement est d'une part plutôt négatif puisqu'il est fait allusion à des "méthodes d'exploitation polluantes" et à une absence d'autorisation en France, et d'autre part, il est positif puisqu'il est fait également allusion à des "réserves de gaz exploitables" disponibles en France et à "certains pays autorisant l'exploitation". Au final, pratiquement la moitié des interviewés se disent opposés à l'exploitation de gaz de schiste en France et un quart se dit favorable. Le quart restant "ne se prononce pas", ce qui est intéressant car il s'agit de la question rassemblant la plus forte proportion de non réponse dans ce sondage. Ce constat pourrait aller de pair avec l'expérience de Science et Avenir, dans laquelle la question avec conditionnement négatif est celle qui rassemble la plus grande part d'hésitant. Enfin, bien que la question soit correctement introduite, on peut espérer que le programmeur avait pris soin de mettre en place une rotation des questions, les sujets n'étant pas tous neutres les uns vis-à-vis des autres.

Un autre exemple. En février 2013, l'IFOP réalisait un sondage entièrement consacré au gaz de schiste (échantillon de 1508 français de 18 ans et plus), pour le compte de ecorpStim, une filiale du groupe américain eCorp, proposant des "technologies alternatives à la fracturation hydraulique, à base d’un fluide de stimulation renouvelable et de l’absence de produits chimiques". Bien sûr, il n'est généralement pas fait mention de l'entreprise commanditaire ou de son secteur auprès du sondé (pour le coup, le biais serait sans doute colossal). La première question posée est non engageante puisqu'on se contente d'évaluer le taux d'interviewés ayant déjà entendu parler du gaz de schiste. La seconde question entre dans le vif du sujet.

Cette fois, les items couvrent un éventail de considérations négatives et positives, opposant des problèmes de pollution à des solutions économiques. Là encore, il est parfaitement indispensable de programmer une rotation des items, au moins pour limiter le déséquilibre en nombre (le conditionnement est positif envers le gaz de schiste pour 6 items et négatif pour 3 items). Aussi, contrairement au précédent sondage Yougov qui contextualisait les questions, cette fois l'objectif n'est définitivement pas d'obtenir un avis éclairé des sondés. Par exemple, savoir si "l'exploitation du gaz de schiste permettrait de créer de nombreux emplois" ne relève pas de l'opinion : avec une telle affirmation, on mesure bien plus "l'envie" des français que cela crée effectivement de nombreux emplois, qu'une quelconque réalité économique. Le but de ce sondage est sans doute plutôt de montrer une stratégie de lobbying, visant à appuyer les arguments positifs pour l'exploitation de gaz de schiste et à reléguer au second plan les arguments négatifs. En cela, le sondage remplit parfaitement son rôle, mais ne nous apprend rien sur les français, si ce n'est qu'ils sont déjà ultra sensibilisés aux risques de pollution.

Il y a encore ce sondage d'OpinionWay (mars 2011, 1035 français de 18 ans et plus) pour le compte de Sia Conseil (cabinet de conseil en management) consacré au nucléaire et au prix de l'électricité. Cette fois, le dilemme s'exprime en ces termes : préférez-vous une augmentation du prix de l’électricité pour la produire avec moins d’émissions de CO2, ou un prix de l’électricité qui n’augmente pas mais une production qui émette plus de CO2 ? Deux préoccupations se télescopent et peuvent se résumer en ces termes, la première : préférez-vous polluer plus ou polluer moins ? Et la seconde : préférez-vous payer plus ou payer moins ? Une fois de plus, on oppose la notion d'économie à la notion d'écologie.

Ou encore ce sondage CSA (mars 2012, 1004 résidents français âgées de 18 ans et plus) pour le compte de Greenpeace, consacré au nucléaire et constitué de cinq questions, empruntant toutes le conditionnement négatif, cette fois contre le nucléaire. Les questions sont orientées sur les risques du nucléaire et les moyens de s'en passer.

Pensez-vous qu’un accident dans une centrale nucléaire aussi grave que celui qui a touché le Japon pourrait survenir en France ?

Diriez-vous que vous êtes suffisamment ou pas suffisamment informé sur les mesures à prendre en cas d’accident nucléaire en France ?

Pensez-vous qu’il soit possible de se passer du nucléaire en France en développant les énergies renouvelables et en favorisant les économies d’énergie ?

Sur l’énergie et le choix du nucléaire en France, avez-vous le sentiment que les citoyens sont suffisamment ou pas suffisamment consultés ?

Seule une question introduit un item à conditionnement positif (soulignant la sûreté des installations nucléaires françaises), mais il est accompagné de deux items à conditionnement négatif.

Je voudrais évoquer un dernier exemple avec ce sondage de l'IFOP (juillet 2008, 1009 français de 18 ans et plus) pour Le Monde. Sa particularité est d'intervenir le 18 juillet 2008, soit seulement dix jours après l'incident du Tricastin. L'ensemble du sondage est évidemment conditionné négativement, d'autant qu'à la question sur la connaissance de cet incident par les sondés, 89% affirment en avoir entendu parler. Le conditionnement négatif implicite était donc phénoménal avant même que la première question ne soit posée.

Quels sont les autres biais à surveiller ?

  • Comme nous l'avons vu, l'ordre des questions et surtout l'ordre des items d'une question sont des aspects sur lesquels il faut faire preuve de beaucoup de précaution, d'autant qu'une lassitude peut se créer au fil du sondage. C'est pour cette raison que sont mises en place des rotations de questions et/ou d'items rétablissant le caractère aléatoire de la perception qu'en ont les sondés.
  • L'article de Science et Avenir évoque également une autre forme d'influence, l'effet normatif. Il vise à orienter le sondé vers l'opinion qui semble être la norme. Ainsi, si un sondage est entamé en expliquant que l'enquête est réalisée auprès de personne ayant un bon niveau culturel, cela peut engendrer un biais auprès des sondés ne considérant pas avoir un niveau culturel suffisant.
  • La formulation des questions engendre un biais plus ou moins similaire à l'effet de priming : les questions d'actualité sont souvent précédées d'une phrase introductive précisant un contexte, une hypothèse, une mise en situation. Le choix d'un champ lexical non neutre (par exemple, confinant au thème de la guerre s'il s'agit de sécurité ou de criminalité) peut provoquer une distorsion des résultats.
  • Enfin, en aval de l'élaboration d'un questionnaire et du recueil des résultats, se trouve le journaliste. Celui-ci, par son analyse et sa mission de synthèse, interprète les résultats : selon l'angle emprunté et les tournures employées, le propos tentant de reproduire le sens initial peut rapidement dériver vers un contre sens. Et même si le journaliste ne dénature apparemment pas les résultats, il n'est jamais bon d'empiler des approximations.
  • On pourrait également mener une réflexion sur les sondages d'actualité commandés par les médias qui s'obstinent à sonder les français quelques semaines, voire quelques jours seulement après un événement dramatique (incident nucléaire, crash d'avion, attentat terroriste...) et à propos de cet événement. Cette proximité rend impossible la mesure d'une opinion raisonnable.

L'analyse incite à beaucoup de précaution. S'il est très important de bien étudier le contexte d'une question au moment de son élaboration, il est également primordial d'être vigilant au moment de l'analyse. Il est par exemple toujours périlleux de rapprocher des questions similaires, même apparemment parfaitement identiques, si elles sont issues de sondages différents. Par exemple, chaque institut propose son baromètre consacré à l'évolution de la cote de popularité des personnalités politiques : il est important de s'assurer que les variations de vocabulaire n'ont pas d'effet nocif sur la validité du rapprochement entre sondages d'instituts différents.

Le danger est d'autant plus présent que les biais peuvent potentiellement s'additionner : sondage incluant un effet de priming, question utilisant un champ lexical non neutre, synthèse approximative, rapport d'étude ignoré etc... C'est pourquoi il est indispensable de lire les rapports de sondage, et qu'il n'est jamais suffisant de s'en tenir au papier du journaliste.