C'è una differenza fra uno strumento che ha contato 12 847 visite e uno strumento che ne ha contate 1284 e le ha moltiplicate per dieci. Tutti e due mostrano 12 847. Solo uno dei due dirà ancora 12 847 domani.

Ci sono tre meccanismi separati che sostituiscono i conteggi con stime, vengono confusi spesso, e solo uno di loro si chiama campionamento.

Campionamento

Lo strumento elabora un sottoinsieme dei dati e scala il risultato verso l'alto.

Esiste per una buona ragione di ingegneria: rispondere a una domanda arbitraria su miliardi di righe è caro, e un campione dell'1% risponde alla maggior parte delle domande entro un margine utile a un centesimo del costo. Per «il traffico è salito o sceso questo mese», un campione va davvero bene.

Smette di andare bene quando tagli sottile. Il margine di errore cresce man mano che il sottoinsieme si restringe, quindi un report su tutto il traffico può essere preciso fino a una frazione di punto percentuale mentre lo stesso report filtrato a una campagna, un paese e una pagina di atterraggio è costruito su undici sessioni campionate ed è essenzialmente rumore mostrato con quattro cifre significative.

Due fatti sugli strumenti che quasi tutti usano:

  • GA4 campiona le esplorazioni sopra una soglia; la documentazione di Google la mette a 10 milioni di eventi per una proprietà standard. I report standard non sono campionati. Quindi il campionamento arriva esattamente quando smetti di leggere la dashboard e cominci a fare una domanda vera.
  • Cloudflare Web Analytics campiona in modo adattivo. Sotto un certo volume non campiona affatto, e sopra le cifre vengono scalate a partire da un campione. Per un sito piccolo questo vuol dire nessun campionamento, ed è per questo che un secco «campiona» sarebbe sbagliato per la maggior parte dei siti che probabilmente stanno leggendo questo.

Il segnale è un report che dà numeri leggermente diversi ogni volta che lo carichi, oppure un piccolo avviso sulla qualità dei dati che quasi tutti si sono allenati a non vedere.

Modellazione

Lo strumento non ha osservato affatto la cosa, e l'ha stimata da quello che ha osservato.

È quello che fa il Consent Mode: quando una persona rifiuta il consenso, GA4 non ha nessun identificativo per lei, quindi le conversioni e gli utenti vengono modellati a partire dal comportamento del traffico che ha acconsentito. È anche quello che vogliono dire le «conversioni modellate» sulla maggior parte delle piattaforme pubblicitarie.

La modellazione non è campionamento. Un campione è un sottoinsieme di osservazioni vere; un modello è un calcolo su osservazioni che non sono mai state fatte. La stima può essere buona, ed è l'unica opzione una volta che i dati sottostanti sono davvero indisponibili. Ma dipende dal fatto che la popolazione modellata si comporti come quella osservata, e nel caso del consenso è proprio quella l'ipotesi con più probabilità di essere falsa: le persone che rifiutano non sono un campione casuale di chi ti visita.

La conseguenza pratica è che le cifre modellate non si possono riconciliare con niente. Se le tue conversioni comprendono quelle modellate e il tuo CRM no, i due non coincideranno mai, e nessuna quantità di indagine troverà la differenza, perché non è un errore.

Soppressione delle righe piccole

Lo strumento ha il numero e non te lo mostra.

GA4 sopprime le righe in cui il gruppo è abbastanza piccolo che una persona potrebbe essere identificabile, soprattutto quando ci sono di mezzo dati demografici o Signals. La riga sparisce, e i totali non fanno più la somma delle parti visibili.

Questo causa confusione vera perché sembra un dato mancante invece che un dato trattenuto. Qualcuno esporta un report, somma una colonna, la confronta con il totale in cima, trova una differenza, e va a cercare un difetto di misurazione che non esiste.

Perché conta più di quanto sembri

Ognuna di queste cose è difendibile presa da sola. Insieme producono un fallimento preciso: non riesci a capire se un cambiamento in un numero sia un cambiamento nel mondo.

Se la settimana scorsa mostrava il 4,2% di conversione e questa mostra il 3,8%, la domanda utile è se sia successo qualcosa. Con dati contati, è successo qualcosa. Con dati campionati, la differenza può stare dentro il margine. Con dati modellati, il modello può essere stato riaddestrato. Con dati soppressi, una riga può aver superato un limite di privacy ed essere sparita.

È anche per questo che l'analitica campionata e i test A/B stanno male insieme. Un test è un esercizio nel decidere se una piccola differenza sia vera, e farlo girare su stime aggiunge una fonte di varianza che non puoi quantificare da dentro lo strumento.

Che cosa chiedere di uno strumento

  1. A che volume comincia a campionare, e si può spegnere?
  2. Distingue le cifre osservate da quelle modellate nell'interfaccia? Se sono sommate in un numero solo, non le puoi separare dopo.
  3. Sopprime le righe piccole? Se sì, da che soglia?
  4. La stessa domanda e lo stesso periodo restituiscono sempre lo stesso numero? È il test più facile e lo puoi fare tu: carica un report due volte e confronta.

Il numero quattro prende il campionamento all'istante. Fallo su un report filtrato invece che su uno di cima, perché è lì che il sottoinsieme diventa piccolo.

Dove si colloca Skomi

Skomi non campiona a nessun volume. Ogni report è un conteggio delle righe, e un report filtrato è un conteggio delle righe che hanno corrisposto, quindi una domanda su una campagna in un paese su una pagina risponde a partire da quelle visite e non da una loro estrapolazione.

Non ci sono cifre modellate, perché non c'è nessun buco di consenso da modellare: con l'impostazione di serie sul dispositivo di chi visita non viene scritto niente, quindi non esiste una popolazione di persone che hanno rifiutato e sono diventate invisibili. E le righe non vengono soppresse, quindi le parti fanno la somma del totale.

Le pagine di confronto mettono questo accanto a quello che fa ogni alternativa, comprese le righe in cui l'alternativa vince. Le affermazioni sul campionamento che ci sono sono state verificate contro la documentazione dei fornitori invece che ripetute a memoria, ed è anche per questo che due di loro dicono «dipende» invece di «no».

Skomi non campiona: ogni visita viene contata, qualunque sia il volume, che è una delle righe che il prodotto Analytics è costruito per reggere. Il campionamento espone il termine così come è usato qui.