Validité de l’étude Online Measurement and Strategy Report 2012

L’étude de eConsultancy/Lynchpin Online Measurement and Strategy Report 2012 est-elle valide ?

Il y a quelques jours j’ai appris la sortie de la 5ème étude annuelle de eConsultancy et Lynchpin concernant Les outils de mesure en ligne, aussi bien les outils de Web analytics que d’intelligence économique, dont un extrait est disponible sur le site d’eConsultancy.

Econsultancy indique que 700 personnes ont répondu à cette enquête effectuée en ligne entre mai et juin 2012.

L’information concernant cette étude a été reprise par certains sites professionnels comme Webrankinfo en français, Socialmediatoday ou Mediapost en anglais.

A priori cette étude me paraissait intéressante car il est assez rare d’avoir des données concernant l’utilisation de ce type d’outils dans les entreprises (à part les outils de Web Analytics qui peuvent être récupérés par les robots – voir notre article concernant l’utilisation de Google Analytics mesurée par W3Techs).

On y trouve notamment les outils payants utilisés par les entreprises :

Toutefois vous pourrez remarquer ici un certain nombre de points discutables (en plus de la qualité et la représentativité de l’échantillon sur laquelle nous reviendrons) :

• La question sur l’utilisation du Web Analytics n’a pas été posée ici et fait partie d’une autre question (nous y reviendrons) ce qui est bien dommageable car on ne peut pas le comparer aux autres outils.
• La notion de répondant à cette question n’est pas claire, s’agit-il des personnes qui ont répondu à au moins un des items ou à tous les items ?
• Il n’y a que 252 répondants à cette question sur 700 : C’est extrêmement faible ! Comment doit on interpréter cela ? Cela indiquerait-il que 64% des répondants ne savent pas ce qui se passe à ce niveau dans leur entreprise ou alors qu’ils ne souhaitent pas répondre ?
• Il y en avait 280 en 2011 : Le nombre d’utilisateurs d’outils a-t-il baissé (ce qui parait curieux) ou alors les répondants sont plus incompétents en ce domaine que ceux de l’année dernière ?
• Les marges d’erreurs (pour un intervalle de confiance à 95%, généralement utilisé) sont respectivement d’environ 6,2 % pour 2012 et 5,7 % pour 2011. Ainsi les variations que l’on peut constater d’une année sur l’autre sont dans les marges d’erreur. Du coup on ne peut rien conclure sur l’évolution dans le temps.

En ce qui concerne l’utilisation de Web Analytics, eConsultancy nous propose le graphique suivant :

86 % des entreprises déclarent utiliser Google Analytics. Cette proportion n’ayant pas varié depuis l’an dernier eConsultancy suggère que nous sommes arrivé à un plateau.

Mais quid de l’utilisation des outils payants en Web Analytics ?

D’après Brian Clifton qui a interrogé les analystes de eConsultancy sur ce sujet, ces informations ne se trouvent pas dans le rapport !!! Heureusement il a pu récupérer ces informations auprès d’eux :

• 314 personnes ont répondu à la question s’ils utilisaient un outil de Web Analytics payant. (on remarque qu’ils sont plus nombreux à répondre à cette question que pour les autres outils).
• 146 déclare utiliser un outils payant soit 46 %. Ceci situerait l’utilisation de Web Analytics payants derrière les enquêtes en ligne et les outils de Media planning / analyse competitive payants (marge d’erreur mise à part).
• 12 déclarent utiliser la version payante de Google Analytics (quand même 150,000 US$ /an !).

Concernant l’échantillon et la méthodologie

• Comme nous l’indiquons plus haut l’étude eConsultancy comportent 700 répondants (mais visiblement pas sur toutes les questions) et a été effectuée par questionnaire en ligne entre mai et juin 2012.
• La présentation de l’étude nous fournit des chiffres de 2011 mais ni la taille ni la structure de celui-ci cette année là, ce qui ne permet pas de juger correctement l’évolution 2011/2012.
• 66 % des répondants sont basés au Royaume-Uni, 12 % d’autres pays d’Europe et 10 % d’Amérique du Nord, les 12 % restant devant se diffuser à travers le reste du Monde. Du coup cela ne représente pas une entité claire du point de vue géographique. Il aurait été intéressant pas exemple de n’étudier que le Royaume-Uni (et de comparer l’échantillon des répondants à la structure des entreprises en UK).
• 26 % des entreprises en UK ont un CA de plus de 150 millions de livres et 30 % des non-UK plus de 150 millions de US$. Il aurait pu être intéressant aussi de s’intéresser uniquement à ce type de structures.
• Seulement 15 % des répondants sont des analystes de données (l’extrait de l’étude ne nous fournit pas le profil des autres), c’est peut être pour cela que le taux de réponse est si faible sur les questions que nous avons évoquées précédemment.

Et vous ? Qu’en pensez-vous ? Quelqu’un a-t-il pu avoir accès à l’étude complète afin de lever certaines incertitudes ?