Moins de 5% des entreprises respectent les critères importants pour leur site
TextMaster compte les fautes d'orthographe dans ses emails et en fait une étude
5 exemples de l'impact d'une émission de télévision sur le trafic Web
ElectionScope : que penser du modèle prédictif qui voit Sarkozy l'emporter ?Econoclaste plante son analyse de sondage et OWNI n'y voit que du feu
Publié par Guillaume Main dans le dossier Analyse | 26 novembre 2010
La plupart des articles consacrés aux analyses de sondage, et qui entreprennent de dénoncer leurs méthodes prétendument peu rigoureuses, trahissent presque systématiquement un cruel manque de connaissance en la matière. Et pour autant, rien n'arrête le détracteur : tourné à son avantage, chaque aspect du sondage semble justifier et conforter sa piètre démonstration. Ce qui est marquant par ailleurs, c'est aussi bien souvent le ton malicieux emprunté par ces détracteurs illuminés.
Un des derniers exemples en la matière est cette analyse d'Alexandre Delaigue, auteur du blog Econoclaste, dans un article intitulé "Un jour ordinaire dans le monde merveilleux des faux nombres" qu'Owni s'empressa de publier à son tour, bien que ce dernier s'était déjà risqué à cet exercice périlleux...
Décortiquons cette laborieuse démonstration.
1 - « Pour le sondage, d'abord, ça ne rigole pas. On nous colle partout des sigles "ISO", sans doute pour bien nous persuader que nous sommes face à de la science rigoureuse. »
C'est justement à cause de leurs détracteurs que les instituts de sondage (et les journalistes) se retrouvent dans l'obligation de rappeler la certification ISO. Il s'agit simplement d'une méthodologie validée. Je ne suis pas convaincu qu'on y porte autant d'attention lorsque le sigle se retrouve sur nos aliments ou nos matériels électroniques, tant il s'agit là d'un élément d'une grande banalité qu'on est amené à croiser plusieurs dizaines de fois par jour...
2 - « La méthodologie est comique de précision : ce sont mille et une personnes qui ont été interrogées. Vous vous demandez sans doute "pourquoi ce nombre". »
Lorsqu'un sondage est élaboré (notamment lorsque le mode d'interrogation est téléphonique ou sur Internet), il est quasi systématique qu'on y applique des quotas. Evidemment, ces quotas évoluent en fonction du profil des panélistes interrogés (généralement, on utilise entre trois et six critères : âge, sexe, profession, région, catégorie d'agglomération et nombre de personnes dans le foyer). Ils sont donc recalculés et ajustés, quasiment en temps réel, après chaque interrogation. Or, tous ces quotas sont croisés entre eux : il est donc très peu probable de parvenir à une structure d'échantillon suffisamment représentative sur la base exacte de 1000 interrogations. Ainsi, pour pallier aux éventuels manques, on interroge un reliquat de panélistes.
3 - « Premièrement, sur un sondage effectué aléatoirement, le nombre de personnes interrogées détermine la marge d'erreur. »
Malgré toute ma bonne volonté, je ne comprends pas le sens de cette phrase... D'une part, il n'y a aucun rapport entre le fait de tirer un échantillon aléatoirement et la détermination de la marge d'erreur. D'autre part, un échantillon tiré selon la méthode des quotas (donc par définition non-aléatoire) sera également accompagné d'une marge d'erreur ! Au passage, je ne sais pas exactement ce que signifie "effectuer un sondage aléatoirement". Pour faire simple et concis, la marge d'erreur est généralement mise en avant pour rappeler que plus les résultats reposent sur des effectifs réduits, plus ils perdent en précision et significativité. En d'autres termes, ces résultats deviennent des tendances qu'il convient de manier avec précaution.
4 - « Ce phénomène par lequel la simple présence de nombres persuade est renforcé par la précision apparente du nombre. »
Il s'agit de leviers actionnés par les journalistes. La mission de l'institut de sondage n'est pas de communiquer ses propres résultats dans la presse (tout au plus, se risque-t-il parfois à lacher un communiqué de presse, généralement très peu relayé). Sa mission est de vendre une prestation de service aux patrons de presse (entre autre), mettant ainsi à leur disposition des données chiffrées qu'ils sont naturellement libres de triturer à leur sauce (avec la rigueur dont ils sont capables).
5 - « Celle-ci est à peine modifiée par le fait d'interroger 1000 ou 1001 personnes. la précision exacte du nombre de personnes interrogées, ici, sert donc beaucoup plus à établir la conviction de scientificité qu'à informer réellement. »
C'est faux : 1001, 1002 ou 1036 sont des nombres entiers, correspondant à des personnes physiques "entières". Il n'y a là aucune raison d'arrondir le nombre de personnes interrogées. La démarche n'est pas tant d'établir la conviction de scientificité que de fournir une information réelle, brute et non déformée. Puisqu'on en est à faire des suppositions sur la façon d'informer, il est bien plus probable que si les instituts prenaient le parti d'annoncer des échantillons de 1000 individus exactement, les détracteurs seraient suspicieux à l'égard de ce chiffre douteusement si "parfait".
6 - « Elle ne prend pas en compte l'autre erreur, la plus courante : l'erreur structurelle. »
C'est faux : l'erreur statistique est forcément la plus courante puisqu'elle est inhérente à tout sondage faisant appel à des échantillons. Le seul contexte dans lequel nous n'avons strictement aucune erreur statistique est celui d'un recensemement complet d'une population définie (cas extrêmement rare, convenons-en, puisque désormais, même le recensement de la population française ne répond plus à cette exigence, l'INSEE préférant extrapoler les résultats).
7 - « En pratique, les sondages sont effectués par des personnes réelles, qui peuvent se tromper en collectant leurs données; surtout, particulièrement dans les sondages réalisés auprès de personnes réelles, il y a des biais de collecte d'information. »
C'est faux : "en pratique" de quoi, pour commencer ? Dans le cadre du sondage par Internet, le biais de collecte est extrêmement marginal puisqu'il ne fait intervenir aucune personne réelle dans le processus de récupération des données. Les sondages sont programmés, puis testés à moindre échelle, et soumis aux panélistes par voie numérique et selon un algorithme capable de faire appliquer les quotas (comme je l'évoquais précédemment). Il y a donc une équité totale lorsque le panéliste A et le panéliste B répondent à la même question.
8 - « Lorsque vous lisez "x% des français pensent que" il faut lire "x% des français qui répondent aux sondages pensent que". »
Il convient quand même de préciser qu'en toute circonstance, les échantillons finaux sont nécessairement représentatif de la population française. Ce qui revient à dire que notre échantillon de "français qui répondent aux sondages" en est par définition lui aussi représentatif (sur la base des critères que j'évoquais précédemment). Là encore, il s'agit d'une liberté de langage employée par les journalistes, et non par les instituts de sondage. D'ailleurs, il est parfaitement courant de lire "x% des français interrogés" dans les rapports d'analyse.
9 - « Les réponses peuvent être orientées par la façon dont les questions sont posées, voire même par l'ordre dans lequel elles sont posées : si par exemple on vous demande d'indiquer vos opinions politiques avant de vous poser des questions de société, vous aurez beaucoup plus tendance à vous conformer aux opinions-type de votre camp. »
Aussi surprenant que cela puisse paraître, l'orientation des questions est un biais des sondages dont les détracteurs sont conscients que depuis très peu de temps (récemment, Marianne, Le Figaro ou Le Parisien n'y sont allés pas avec le dos de la cuillère). C'est en tout cas bien la preuve que l'erreur structurelle est essentiellement le fait des patrons de presse (ou parfois des chefs de service politique) : ils ne peuvent plus nier le parti pris politique dans la tournure des questions qu'ils composent. Pour autant, comment résoudre le problème ? Existe-t-il une encyclopédie des questions de référence non biaisée, avec une garantie scientifique de leur neutralité ? Et quand bien même : si les grands journaux nationaux commandaient des sondages pour avoir un instantané objectif de l’état de l’opinion, cela se saurait.
10 - « Dans cet exemple, il y a un biais énorme : le mode d'interrogation, en ligne. Là encore, la "scientificité" est assise sur la dénomination du système d'interrogation, désignée par un sigle en anglais. Ca fait tout de suite plus sérieux. »
La scientificité réside dans la création d’un échantillon, selon des règles de représentativité, régies par des quotas correspondant à des données statistiques vérifiées portant sur une population la plus exhaustive possible (la taille de l'échantillon est un levier essentiel revenant au client puisqu'il conditionne directement le montant de la facture). La scientificité des sondages, c’est également les pondérations, redressements consentis à postériori pour restructurer un échantillon éventuellement déformé par des contraintes de population. Au passage, CAWI signifie "Computer-Assisted Web Interviewing". On dit également qu'il s'agit d'un système d'administration d'enquêtes, en ligne et auto-administré. Rien de bien mystérieux, en réalité...
11 - « les personnes qui ont servi à ce sondage correspondent à un sous-groupe particulier de la population, les gens qui ont un ordinateur et un accès internet, et qui acceptent de répondre à un sondage en ligne. Il y a très peu de chances qu'ils représentent la population française. L'application là-dessus de la "méthode des quotas", au passage, loin d'améliorer le résultat, ne fait qu'introduire de nouveaux biais. »
C'est faux. C'est même complétement l'inverse pour deux raisons essentielles : ce mode d'interrogation induit un risque d'erreur structurelle quasi nulle (contrairement aux enquêtes téléphoniques ou en "face-à-face") et la méthode des quotas visent précisément à corriger la légère déformation engendrée par ce mode de recueil. Le biais par téléphone est plus conséquent (pensons aux gens qui n'ont plus de téléphone fixe - les instituts n'appellent pas les gens sur leur téléphone portable, ou aux personnes âgées, à la retraite ou au chômage particulièrement sur-représentées). Par ailleurs, l'article fustigeait déjà le mode de recueil en face-à-face (le fameux biais des personnes "qui peuvent se tromper en collectant les données").
12 - « On aurait pu essayer d’autres verbes : "approuvez-vous" ? "Appréciez-vous" ? "vous intéressez-vous" ? et à chaque fois, on aurait eu un nombre différent. Du commentaire sur du bruit.
Et c'est au moment où on commençait à effleurer le problème essentiel des sondages que le sujet est clos. Il est navrant qu'ait été occultée la part de responsabilité pourtant si peu négligeable du commanditaire dans l'élaboration des sondages. J'espère simplement que nous n'en sommes pas encore à découvrir que le langage n'est jamais neutre et qu'un mot - bien que synonyme d'un autre - peut colporter des nuances lourdes de biais quand il s'agit de sonder l'opinion.
Ce qui me chagrine, c'est ce que le grand public retiendrait de l'article d'Econoclaste... Il faut bien se rendre compte qu'une large majorité de sondages ne sont ni médiatisés ni même publiés sur le site des instituts. En réalité, les sondages d'opinion représentent à peine 10% de leur chiffre d'affaire. Evidemment, ils constituent une excellente vitrine, mais c'est un peu l'arbre qui cache la forêt.
Cette "forêt" de sondages non médiatisés rassemble quand même tous les éléments évoqués : norme ISO, nombre de personnes interrogées (à l'individu près), sigle du mode d'interrogation (CATI, CAWI, CAPI), marge d'erreur... Il serait donc malhonnête d'affirmer que tous ces éléments serviraient à endormir la vigilance de l'honnête citoyen.
La seule différence essentielle réside peut-être dans l'élaboration des questions : si j'en crois mon expérience de consultant statistique, les commanditaires se montrent bien plus neutres et soucieux quand il s'agit de sonder des panélistes pour leur propre compte dans un cadre privé.
Commentaires
cet article n'est qu'une pub pour vos activités de consultant, pub financée sur le dos de 2 marques et individus qui méritent mieux que votre regard de haut...
en témoigne sa conclusion.
d'autres méthodes seraient moins criticables !
Article intéressant. Ce droit de réponse est tout à fait approprié, et permet sans doute de se forger une opinion un peu moins biaisée. Les blogueurs n'ont pas toujours raison sur tout :)
@pub :
Ahhh, mes activités de consultant... Savez-vous en quoi elles consistent exactement ? Ensuite, vous parlez de deux marques. Soit je n'ai pas compris, soit vous évoquez Econoclaste et OWNI, auquel cas ce ne sont pas des marques (à la rigueur OWNI en est une compte tenu de sa réputation, mais pas Econoclaste).
Sinon, ce fameux "regard de haut" est celui porté sur le monde des sondages que j'observe à longueur de journée. On y confond absolument tout : commanditaire et institut, résultat et analyse... Et pour autant, cela n'empêche jamais de tirer à boulet rouge. Il me semble qu'un léger rééquilibrage de temps en temps est toujours le bienvenu, d'autant que la ficelle des sondages est un peu plus facile à exploiter auprès du grand public quand on est un détracteur que lorsqu'on essaye d'expliquer convenablement les choses.
Enfin, vous parlez de ma conclusion : de quoi témoigne-t-elle exactement ? Un lien pointe sur ma page "à propos". En voilà un business express et à moindre frais s'il était rentable. Vous croyez peut être que je suis rémunéré au lien ?
Vous pourriez au moins avoir l'honnêteté d'admettre que le contenu de mon article ne joue ni sur l'ironie, ni sur le sarcasme contrairement aux articles que je dénonce. J'essaye simplement d'être didactique, que mes explications puissent éventuellement resservir. Et certes, le titre est racoleur. Avez vous vu ceux de OWNI, Rue89 ou Numerama ?
Dommage que vous ne vous soyez pas dévoilé un minimum : ça aurait permis au débat d'être porté sur des bases un peu plus équitables.
@Dodot :
Je suis bien d'accord avec vous, même si je suis à la fois consultant et blogueur. ;-)
En tant que statisticien, je me dois quand même de soulever trois points dans votre argumentation que je donnerais plutôt à votre interlocuteur:
3. « Premièrement, sur un sondage effectué aléatoirement, le nombre de personnes interrogées détermine la marge d'erreur. »
Plutôt que de sondage aléatoire, je parlerais ici de sondage probabiliste, c'est-à-dire un sondage effectué sur un échantillon choisit aléatoirement, et où toutes les unités de la population ont une probabilité d'être sélectionnée (pas nécessairement des probabilités toutes égales). La méthode du quota n'est pas une méthode probabiliste, du moins comme je la comprends, puisqu'il est possible que la méthode d'échantillonnage ne soit pas aléatoire, généralement un échantillon de convenance est obtenu. On lui préfère de loin l'échantillonnage stratifié. La marge d'erreur est un outil qui prend tout sens uniquement dans le cas d'un échantillon probabiliste car elle représente l'erreur d'échantillonnage. Il est impossible de calculer une erreur d'échantillonnage dans un échantillon non-probabiliste car il est impossible de connaître la probabilité de sélection des unités de la population cible. Pour plus de détails, je vous réfère à ce billet fort intéressant: http://blogue.som.ca/sondages-en-li...
6. « Elle ne prend pas en compte l'autre erreur, la plus courante : l'erreur structurelle. »
Ici, je ne comprends ni son expression d'erreur structurelle, ni la vôtre, d'erreur statistique. Ce qui me semble au cœur du problème, toutefois, est encore une fois l'idée d'échantillonnage aléatoire. Si l'échantillonnage n'est pas aléatoire, comme c'est le cas dans un recensement formel où la sélection est systématique et on prend toute la population, alors il n'existe pas d'erreur aléatoire mais on peut être en présence de biais de sélection (le recensement est la seule méthode non-aléatoire qui n'a pas de biais dû à la sélection des individus, évidemment). Ainsi, on préfère un échantillonnage aléatoire qui n'est pas biaisé mais qui a une part de variabilité à un échantillonnage non-aléatoire qui lui est biaisé et pour lequel il n'existe pas de méthode pour tenir compte du biais.
8. « Lorsque vous lisez "x% des français pensent que" il faut lire "x% des français qui répondent aux sondages pensent que". »
Je crois ici qu'il faut faire attention à la population cible et à la population échantillonnée. Par exemple, si on effectue un sondage internet en France, la population échantillonnée est celle des internautes français et il serait faux d'étendre les conclusions du sondage à la population française en générale. Toutefois, je vous accorde que votre interlocuteur se trompe car les résultats d'un sondage fait dans les règles de l'art peuvent être étendue à l'ensemble de la population échantillonnée, pas seulement aux répondants. Le blogue cité plus haut apporte aussi certains points de vue sur l'utilité des sondages internet versus les sondages traditionnels.
D'autres points dans l'argumentaire, d'un côté comme de l'autre, me chicotent aussi, mais je crois que ces trois points sont flagrants et méritaient une discussion plus approfondie.
3. Sur ce point, je suis entièrement d'accord avec vous et effectivement, je n'ai pas été suffisamment clair. D'ailleurs, s'il fallait absolument couper les cheveux en quatre, je dirais que l'expression de marge d'erreur me semble plutôt inappropriée. Dans le cas présent d'un sondage d'opinion, il serait plus adapté de faire appel à la notion de significativité : plus l'effectif des répondants à une question est faible, plus il est probable que la réponse obtenue soit non significative. Quand bien même, il ne me semble pas que mon "interlocuteur" soit dans le vrai : comme vous l'avez expliqué, une étude d'opinion dont l'élaboration de l'échantillon fait appel à la méthode des quotas ne peut pas se voir attribuée une marge d'erreur. La terminologie en statistique est pointue et il n'est pas évident d'être précis et concis.
6. En réalité, les deux expressions sont les siennes et j'ai joué le jeu en les utilisant dans le contexte de mon article. Toutefois, mon "interlocuteur" explique ce qu'est l'erreur structurelle : une erreur obtenue du fait de l'intervention humaine, une erreur intrinsèque à l'élaboration même de l'échantillon, cette même erreur qui peut produire un biais lorsqu'un panéliste est interrogé par téléphone, courrier, face à face. Or, justement, dans le cadre d'un recueil des résultats par Internet, l'erreur structurelle est inexistante puisque les différentes étapes qui jalonnent le bon fonctionnement de l'enquête ne font pas intervenir "l'humain".
8. Enfin pour ce point, je pense qu'il ne faut pas chercher midi à quatorze heure et se lancer dans des analyses pointues. Si à fortiori il est faux de dire "x% des français pensent que" (déformation typiquement journalistique dois-je le rappeler ?), il n'est également pas tout à fait rigoureux de dire "x% des français qui répondent aux sondages pensent que" car cette expression intègre elle aussi un raccourci : tous les français qui répondent aux sondages n'auraient pas forcément répondu ainsi. Quitte à pinailler autant le faire jusqu'au bout : "x% des français interrogés [lors de ce sondage] pensent que". Maintenant, il ne faut pas pour autant perdre de vue que le but du sondage est précisément de nous aider à mesurer à une petite échelle ce qui se passe à une plus grande. Et effectivement, il ne faut jamais oublier que le mode de recueil est prépondérant : on fait une montagne du mode de recueil par Internet, mais lorsqu'il s'agit d'un mode de recueil par téléphone, on ne dit pas que l'échantillon est représentatif des individus qui sont équipés d'un téléphone fixe et qui y répondent. De la même manière que pour un sondage réalisé dans une rue du 14ème arrondissement de Paris, on ne va pas dire que les répondants sont représentatifs des gens qui acceptent de répondre à des sondages dans une rue du 14ème arrondissement de Paris.
Je serais interessé de connaître les autres points de l'argumentaire qui vous chicotent. Je trouve la discussion sincèrement intéressante car elle permet de formaliser un peu mieux tout ce qui se dit dans les analyses de sondage d'opinion.
@ guillaume > Je me permets de vous rattraper avec mes précisions concernant ces points suivant:
2/ Il est vrai que les instituts aiment à constituer des tailles d’échantillon tournant autour de 1'000. Cela ne nous dit pas pourquoi cette valeur de prédilection. Mathématiquement parlant, cela n’a pas d’importance ! Ce qui est important est de lier la taille de l’échantillon à son erreur associée. Plus un échantillon est grand et plus l’erreur de mesure est petite ; et inversement.
3/ Si vous ne comprenez pas, c’est que vous n’avez pas les bases suffisantes pour aborder ce sujet. Car il est évident que le nombre de personnes interrogées détermine la marge d’erreur. [http://fr.wikipedia.org/wiki/Marge_d%27erreur]
Ainsi, je ne vois pas la raison de continuer la discussion avec vous ce d’autant plus que (votre interlocuteur) Monsieur Alexandre Delaigue a tout à fait bien exposé son sujet.
@ Pierre-Hugues C. >
8/ je vois bien la nuance que vous faites entre population cible et échantillonnée. Cependant, il y a une subtilité dans les sondages sur le questionnement des individus. En marketing, on peut poser des questions selon des situations particulières et simuler des opinions afin d’anticiper un plan de vente. C’est ce qui se passe si je demandais l’avis des sondés sur un nouvel échantillon de produit. Cependant, l’analyse politique est différente vu qu’elle est sensée fournir une photographie de l’opinion des individus à un moment (ou "court" intervalle) donné. Par exemple, on peut demander aux sondés s’ils approuvent que Sarkozy présente ses vœux lors d’un congrès du Parlement au château de Versailles. Tel que soient les résultats obtenus selon la méthode la plus rigoureuse, on ne peut pas extrapoler les résultats sur la population car c’est une opinion artificielle/fabriquée que j’ai fabriqué ! Il n’est pas nécessaire de préciser que le reste de la population ne pense pas à la question posée et n’a donc pas d’opinion dessus. Dans ce cas, on parle de fabrique d’opinions !
Tout d'abord, pour se mettre dans l'ambiance, je tiens à préciser que je suis ravi de voir que vous continuez à me lire, bien que vous passiez votre temps à répéter que je n'y connais rien. :-)
Non, les instituts n'aiment pas spécialement faire des échantillions de 1'000. Ce n'est pas vrai du tout. Premièrement, il se trouve que les CLIENTS passent COMMANDE auprès des instituts, ils veulent dans une très large majorité des cas un sondage PAS CHER et surtout qui va vite. Or, il est admis traditionnellement que 1'000 est un minimum pour une étude d'opinion valable. Il ne s'agit donc absolument pas d'une préférence des instituts qui ne se plaindraient évidemment pas s'ils pouvaient facturer un peu plus cher leurs enquêtes. Pour autant, si on sort du cadre spécifique des études d'opinion, alors les grandes études de consommation sur 10'000 ou 20'000 foyers sont légions, notamment à la SOFRES (une dizaine par mois en moyenne).
Par ailleurs, comme vous avez l'art de faire semblant de ne pas saisir les nuances, je vais expliciter : ce n'est pas la notion de marge d'erreur que je ne comprends pas, évidemment. Mais la notion de "sondage aléatoire". Je maintiens que cela ne veut rien dire mais je veux bien admettre que c'était un raccourci de langage. Si pour vous, parler de "sondage effectué aléatoirement" c'est exposé "tout à fait bien son sujet" alors, oui, effectivement, autant stopper la discussion.
Je laisserais les gens se faire une opinion sur le bien fondé et l'honnêteté intellectuelle de vos argumentations en jetant un oeil à vos commentaires sur OWNI. :-)
http://owni.fr/2010/08/09/statosphe...
Billet très intéressant. Econoclaste a en effet une longue tradition de condescendance, alors que sous le couvert hautain de leur "expertise" se cache souvent plus prosaïquement de simples opinions.
En témoigne, dans un tout autre domaine :
http://sites.google.com/site/ducono...