StatCounter Global Stat est-il un panel représentatif ?

StatCounter Global Stats est un outil webanalytique impressionnant : ses statistiques reposent en effet sur l'agrégation d'un échantillon de données collectées par son tracker, dépassant plus de 5 milliards de pages visitées par mois et appartenant à un réseau de plus de 3 millions de sites Internet. Ses chiffres ont de quoi donner le vertige, et suscitent l'intérêt de nombreux analystes, tant il est difficile d'obtenir des données fiables concernant les habitudes des internautes (navigateur, système d'exploitation, moteur de recherche...). La quantité colossale de données collectées laissent à penser que les statistiques de StatCounter GS peuvent être utilisées comme des chiffres-clés, faisant référence. Pourtant, la problématique de la représentativité de cet échantillon doit être posée.

1/ Exposition de la problématique

Tout d'abord, de quoi Statcounter doit-il être représentatif ? Contrairement à bon nombre de panels, StatCounter n'est pas un panel d'internautes, mais un panel de sites Internet puisque le but est avant tout de couvrir le plus large échantillon de sites (on dit que le panel est "site centric", en opposition à "user centric"). La démarche est compréhensible puisque StatCounter fournit un tracker à installer sur des sites. Alors certes, StatCounter couvre l'activité d'environ 3 millions de sites Internet représentant plus de 5 milliards de pages visitées. Mais en l'occurrence, Netcraft annonce pour Septembre 2009 l'existence de 226 millions de sites Internet dont un peu plus de 72 millions actuellement en activité.

On peut donc en déduire que les données collectées par StatCounter proviennent d'environ 1% des sites Internet existant, et d'environ 4% des sites Internet en activité (en supposant que les sites suivis par StatCounter le sont tous). C'est à la fois énorme compte tenu de l'immensité de la toile et anecdotique puisqu'au moins 96% de l'activité du net n'est pas surveillée par StatCounter.

[ source ]

En d'autres termes : est-il réaliste de supposer que les habitudes des internautes sur les sites surveillés par StatCounter sont les mêmes que celles des internautes sur les sites non-surveillés ? Autre problématique : pour être représentatif des habitudes des internautes, faut-il être représentatif des internautes (sur des critères d'âge, sexe, localisation géographique) ou des sites visités par les internautes (sur des critères de moteur de recherche, système d'exploitation, navigateur Internet) ? Bien évidemment, à l'instar d'un recensement démographique, l'idéal serait d'être purement et simplement exhaustif. Mais pour cela, il faudrait que toute activité sur le net soit surveillée par un tracker universel, installé sur chaque site en activité.

À ce sujet, l'article "Mesure d'audience Internet : comment s'y retrouver ?" paru sur le Journal du net explique brillamment les multiples difficultés de la mesure d'audience et en particulier les différences de méthodologie entre les outils "site centric" (ciblant les sites Internet) et les outils "user centric" (ciblant les internautes).

2/ StatCounter Global Stats n'est pas un panel "artificiellement" représentatif.

En fait, l'équipe de StatCounter ne se pose pas la question en ces termes. Pour elle, StatCounter n'est pas un panel représentatif au sens strict du terme, puisque rien n'est fait dans ce sens. La FAQ se veut d'ailleurs tout à fait explicite à ce sujet : "Nous ne manipulons pas les données de quelque manière que ce soit. Nous ne concaténons pas nos données avec celles d'autres sources. Aucune pondération, aucun redressement n'est appliqué. Nous publions simplement les données telles qu'elles sont enregistrées". L'objectif assumé est simplement de fournir des statistiques brutes reposant sur l'activité d'internautes du monde entier.

De fait, nous avons ainsi la certitude que l'échantillon ne subit aucune déformation arbitraire : il se veut simplement le reflet de l'activité des visiteurs sur les sites ayant installé le tracker StatCounter.

3/ StatCounter est-il un panel "naturellement" représentatif ?

C'est ce que les développeurs de StatCounter semblent prétendre sans toutefois le garantir. Précision intéressante : les statistiques ne sont pas calculées en fonction de l'activité des membres ayant installé le tracker sur leur site mais en fonction de l'activité des internautes visitant les sites des membres ayant installé le tracker. La nuance est de taille d'autant que selon les développeurs, cela permet de minimiser les biais sur les données et de s'assurer que l'échantillon est construit de manière aléatoire.

Autre précaution consentie : même si les statistiques sont mises à jour et rendues disponibles toutes les 4 heures, et même si tout est mis en œuvre pour assurer la précision et la clarté des données, les développeurs se donnent le droit de corriger les éventuelles erreurs ou omissions pendant les sept jours qui suivent la publication.

L'évaluation de la représentativité d'un tel panel revient à s'interroger sur des chiffres méconnus ou peu précis : le nombre de pages peuplant Internet ou le nombre total de pages visitées sont des données très complexes à évaluer, et  le nombre d'internautes dans le monde ou le nombre exact de sites Internet sont des données relativement peu précises, même à l'échelle d'un seul pays. Par exemple, Google estime à 1000 milliards le nombre de pages disponibles sur Internet et avoue n'en indexer "que" 40 milliards. L'an dernier, Cuil promettait plus de 120 milliards de pages référencées, tandis que Archive.org annonce plus de 150 milliards de pages archivées depuis 1996. À la lumière de ces chiffres, on appréhende toute la difficulté que représente l'enjeu de pouvoir évaluer l'activité globale du Web.

4/ Comment évaluer le degré de représentativité d'un panel "site centric" ?

Idéalement, la meilleure méthodologie consisterait à rapprocher les traitements statistiques des données "site centric" et "user centric" : cela permettrait d'appréhender le parcours global de chaque individu et de reconstruire un panel représentatif. Mais c'est impossible dans le cadre de StatCounter puisqu'il ne peut récupérer que des données techniques (OS, browser, search engine).

Aussi, pour achever l'analyse, on peut se demander si StatCounter pourrait quand même se prévaloir d'être "naturellement" représentatif.

Cyberestat (en partenariat avec Médiamétrie), At Internet (anciennement XiTi) et Onestat.com sont des panels dits "site centric". Contrairement à StatCounter, Cyberestat (voir les chiffres du mois d'août) est un observatoire qui se préoccupe essentiellement des variations de volume de visites. Reste donc At Internet et Onestat.com dont les résultats peuvent être comparés à ceux de StatCounter :

Comparatif (format PDF) :

Sources :
Répartition des systèmes d'exploitation en Novembre 2008 par Onestat.com
Répartition des navigateurs Internet en Mars 2009 par Onestat.com
Répartition des navigateurs Internet en Europe en Mars 2009 par At Internet (étude sur 15248 sites)
Répartition des navigateurs Internet en Europe en Janvier 2009 par At Internet (étude sur 122099 sites)
Répartition des navigateurs Internet en Janvier et Mars 2009 par StatCounter GS
Répartition des systèmes d'exploitation en Novembre 2008 par StatCounter GS

Le tableau s'emploie à comparer les panels issus de Onestat.com, StatCounter et At Internet (ce dernier propose deux panels de périmètre différent). À priori, StatCounter GS est le tracker le plus exhaustif puisqu'il rassemble 40 à 200 fois plus de sites que les trois autres. Par ailleurs, l'écart calculé est arrondi à l'entier le plus proche.

Voici une série d'observations et les analyses que j'en tire :

  • plus la zone géographique observée est large (monde entier, Europe) et plus les disparités entre échantillon semblent élevées concernant le clivage Internet Explorer vs Mozilla Firefox : sur IE, on observe un écart de 17% entre Onestat.com et StatCounter, et un écart de 15% entre StatCounter et At Internet.
  • l'écart de 15% entre StatCounter et At Internet sur IE et sur l'Europe en Mars 2009 peut également s'expliquer par le fait que l'échantillon At Internet est 200 fois moins peuplé que celui de StatCounter, d'où un biais probable.
  • l'écart entre StatCounter et At Internet sur IE et sur l'Europe en Janvier 2009 est presque deux fois plus faible (8% au lieu de 15%). La réduction de cet écart peut s'expliquer par le fait que l'échantillon At Internet est 8 fois plus gros en Janvier 2009 qu'en Mars 2009, induisant des résultats plus fins.
  • At Internet semble surévaluer Internet Explorer en Europe tandis que Onestat.com semble surévaluer Internet Explorer aux USA.
  • Onestat.com et StatCounter sont tous les deux des trackers américains ce qui peut expliquer un écart plus faible sur IE aux USA (moins de 7%). En revanche, l'écart sur IE en France est supérieur à 9%.
  • En ce qui concerne le système d'exploitation, qu'on soit sur une zone géographique globale (monde entier) ou sur un pays en particulier (USA), les statistiques de Onestat.com et StatCounter sont relativement proches : de 2 à 5% d'écart sur Windows XP seulement 

5/ Conclusion

Compte tenu des écarts de résultats observés sur les deux échantillons de At Internet, il semblerait que la taille du périmètre (c'est à dire le nombre de sites peuplant l'échantillon) soit un élément essentiel de la qualité d'un tel panel. Ainsi, le panel StatCounter, avec ses plus de 3 millions de sites, relègue ses homologues loin, loin derrière lui.

Taille des différents échantillons impliqués dans le comparatif

Car il est effectivement très rare qu'un panel quel qu'il soit, puisse, dans le cadre d'une étude de marché, se targuer de rassembler plus d'un pourcent de la population totale d'une cible. Pour faire une analogie avec le nombre de foyers français (environ 30 millions), ça reviendrait à ce qu'un panel de consommateurs contienne au moins 300'000 foyers dans son échantillon. Or, les panels de consommateur sont généralement à l'échelle 1 pour 1000. C'est pourquoi, avec son ratio de 1 pour 100, StatCounter impressionne.

Par ailleurs, il semblerait que la nationalité du tracker soit un élément influençant la qualité des résultats : Onestat.com et StatCounter semblent plus fiables sur les statistiques des USA tandis que At Internet semble plus précis sur des données européennes.

Sources : StatCounter et le Journal du Net

On constate que le Brésil, la Turquie, la Thaïlande et l'Indonésie sont particulièrement surexposés dans le panel StatCounter. En revanche, la France est sous exposée.

Firefox, Google Chrome et Opera sont plus répandus sur StatCounter. Les proportions sont telles qu'on peut supposer que ce panel est plus abondamment peuplé de sites à vocation high tech, attirant des internautes aguerris, acquis à la cause des navigateurs respectant les standards du Web et boudant littéralement Internet Explorer.

En définitive, tous ces panels permettent plus ou moins efficacement d'observer une tendance juste et significative. Même s'il est improbable qu'ils fournissent des chiffres d'une fiabilité absolue, on observe d'un panel à l'autre que les navigateurs Internet et les systèmes d'exploitation arrivent dans un ordre toujours similaire. Opera est la seule exception puisqu'il joue les trublions dans le Top 4 des navigateurs préférés, jouissant d'une popularité particulière en Europe (en Allemagne et plus particulièrement en Norvège d'où il est originaire).

De toute évidence, StatCounter Global Stats tient le haut du pavé et malgré ses faiblesses, il demeure un indicateur très puissant des tendances actuelles du Web en matière de navigateur Internet, de moteur de recherche et de système d'exploitation (sur ordinateur personnel ou téléphone portable).