Il y a une différence entre un outil qui a compté 12 847 visites et un outil qui en a compté 1 284 et les a multipliées par dix. Les deux affichent 12 847. Un seul des deux dira encore 12 847 demain.

Trois mécanismes distincts remplacent des comptes par des estimations, on les confond fréquemment, et un seul d'entre eux s'appelle échantillonnage.

L'échantillonnage

L'outil traite un sous-ensemble des données et met le résultat à l'échelle.

Cela existe pour une bonne raison d'ingénierie : répondre à une question arbitraire sur des milliards de lignes coûte cher, et un échantillon de 1 % répond à la plupart des questions à une marge utile près pour un centième du coût. Pour « le trafic monte-t-il ou descend-il ce mois-ci », un échantillon convient tout à fait.

Il cesse de convenir quand vous découpez fin. La marge d'erreur grandit à mesure que le sous-ensemble rétrécit : un rapport sur tout le trafic peut donc être exact à une fraction de pour cent près, tandis que le même rapport filtré sur une campagne, un pays et une page d'atterrissage est construit sur onze sessions échantillonnées et n'est pour l'essentiel que du bruit affiché avec quatre chiffres significatifs.

Deux faits sur les outils que la plupart des gens utilisent :

  • GA4 échantillonne les explorations au-delà d'un seuil ; la documentation de Google le place à 10 millions d'événements pour une propriété standard. Les rapports standards ne sont pas échantillonnés. L'échantillonnage arrive donc exactement au moment où vous cessez de lire le tableau de bord et commencez à poser une vraie question.
  • Cloudflare Web Analytics échantillonne de façon adaptative. En dessous d'un certain volume, il n'échantillonne pas du tout, et au-dessus les chiffres sont mis à l'échelle depuis un échantillon. Pour un petit site, cela veut dire aucun échantillonnage, et c'est pourquoi une affirmation sèche du type « il échantillonne » serait fausse pour la plupart des sites susceptibles de lire ceci.

Le signe qui trahit, c'est un rapport qui donne des chiffres légèrement différents à chaque chargement, ou un petit avertissement sur la qualité des données que la plupart des gens se sont entraînés à ne pas voir.

La modélisation

L'outil n'a pas observé la chose du tout, et l'a estimée à partir de ce qu'il a observé.

C'est ce que fait le mode Consentement : quand un visiteur refuse le consentement, GA4 n'a aucun identifiant pour lui, et les conversions et les utilisateurs sont donc modélisés à partir du comportement du trafic consenti. C'est aussi ce que veulent dire les « conversions modélisées » dans la plupart des plateformes publicitaires.

La modélisation n'est pas de l'échantillonnage. Un échantillon est un sous-ensemble d'observations réelles ; un modèle est un calcul portant sur des observations qui n'ont jamais été faites. L'estimation peut être bonne, et c'est la seule option une fois que les données sous-jacentes sont vraiment indisponibles. Mais elle dépend de ce que la population modélisée se comporte comme la population observée, et dans le cas du consentement c'est exactement l'hypothèse la plus susceptible d'être fausse : les gens qui refusent ne sont pas un échantillon aléatoire de vos visiteurs.

La conséquence pratique est que des chiffres modélisés ne peuvent être rapprochés de rien. Si vos conversions incluent des conversions modélisées et pas votre CRM, les deux ne correspondront jamais, et aucune investigation ne trouvera la différence, parce que ce n'est pas une erreur.

Le seuillage

L'outil a le chiffre et ne vous le montrera pas.

GA4 supprime les lignes où le groupe est assez petit pour qu'un individu puisse être identifiable, en particulier lorsque des données démographiques ou Signals sont en jeu. La ligne disparaît, et les totaux ne sont plus la somme des parties visibles.

Celui-ci provoque une vraie confusion parce qu'il ressemble à des données manquantes plutôt qu'à des données retenues. Quelqu'un exporte un rapport, additionne une colonne, la compare au total en tête, trouve un écart, et part à la recherche d'un bug de suivi qui n'existe pas.

Pourquoi cela compte plus qu'il n'y paraît

Chacun de ces mécanismes est défendable isolément. Ensemble, ils produisent un échec précis : vous ne pouvez pas savoir si un changement dans un chiffre est un changement dans le monde.

Si la semaine dernière montrait 4,2 % de conversion et que celle-ci montre 3,8 %, la question utile est de savoir si quelque chose s'est passé. Avec des données comptées, quelque chose s'est passé. Avec des données échantillonnées, la différence est peut-être à l'intérieur de la marge. Avec des données modélisées, le modèle a peut-être été réentraîné. Avec des données seuillées, une ligne a peut-être franchi une limite de confidentialité et disparu.

C'est aussi pourquoi une analytics échantillonnée et les tests A/B font mauvais ménage. Un test est un exercice consistant à décider si une petite différence est réelle, et le faire tourner sur des estimations ajoute une source de variance que vous ne pouvez pas quantifier depuis l'intérieur de l'outil.

Ce qu'il faut demander à propos d'un outil

  1. À partir de quel volume commence-t-il à échantillonner, et peut-on le désactiver ?
  2. Distingue-t-il les chiffres observés des chiffres modélisés dans l'interface ? S'ils sont additionnés en un seul chiffre, vous ne pourrez pas les séparer ensuite.
  3. Supprime-t-il les petites lignes ? Si oui, à partir de quel seuil ?
  4. La même requête sur la même période renvoie-t-elle toujours le même chiffre ? C'est le test le plus facile et vous pouvez le faire vous-même : chargez un rapport deux fois et comparez.

Le quatrième attrape l'échantillonnage immédiatement. Faites-le sur un rapport filtré plutôt que sur un rapport de tête, parce que c'est là que le sous-ensemble devient petit.

Où Skomi se situe

Skomi n'échantillonne à aucun volume. Chaque rapport est un compte des lignes, et un rapport filtré est un compte des lignes qui ont correspondu : une requête qui porte sur une campagne, dans un pays, sur une page répond donc à partir de ces visites-là et non d'une extrapolation.

Il n'y a pas de chiffres modélisés, parce qu'il n'y a pas de trou de consentement à modéliser : rien n'est écrit sur l'appareil du visiteur avec le réglage par défaut, il n'y a donc pas de population de visiteurs qui auraient refusé et seraient devenus invisibles. Et les lignes ne sont pas supprimées : les parties font donc bien le total.

Les pages de comparaison mettent cela à côté de ce que fait chaque alternative, y compris les lignes où l'alternative gagne. Les affirmations sur l'échantillonnage qui s'y trouvent ont été vérifiées auprès de la documentation des éditeurs plutôt que répétées de mémoire, ce qui est aussi pourquoi deux d'entre elles disent « cela dépend » au lieu de « non ».

Skomi n'échantillonne pas : chaque visite est comptée, quel que soit le volume, ce qui est l'une des lignes que le produit Analytics est fait pour tenir. Échantillonnage expose le terme tel qu'il est employé ici.