Há uma diferença entre uma ferramenta que contou 12 847 visitas e uma ferramenta que contou 1284 e multiplicou por dez. As duas mostram 12 847. Só uma delas ainda vai dizer 12 847 amanhã.

Há três mecanismos separados que substituem contagens por estimativas, são frequentemente confundidos, e só um deles se chama amostragem.

Amostragem

A ferramenta processa um subconjunto dos dados e escala o resultado para cima.

Isto existe por uma boa razão de engenharia: responder a uma pergunta arbitrária sobre milhares de milhões de linhas é caro, e uma amostra de 1% responde à maior parte das perguntas com uma margem útil por um centésimo do custo. Para "o tráfego subiu ou desceu este mês", uma amostra serve mesmo.

Deixa de servir quando cortas fino. A margem de erro cresce à medida que o subconjunto encolhe, portanto um relatório sobre todo o tráfego pode ser exato até uma fração de um por cento enquanto o mesmo relatório filtrado a uma campanha, um país e uma página de aterragem está construído sobre onze sessões amostradas e é essencialmente ruído apresentado com quatro algarismos significativos.

Dois factos sobre as ferramentas que a maior parte das pessoas usa:

  • O GA4 amostra as explorações acima de um limiar; a documentação da Google põe-no em 10 milhões de eventos para uma propriedade padrão. Os relatórios padrão não são amostrados. Portanto a amostragem chega exatamente quando deixas de ler o painel e começas a fazer uma pergunta a sério.
  • O Cloudflare Web Analytics amostra de forma adaptativa. Abaixo de um certo volume não amostra de todo, e acima dele os valores são escalados a partir de uma amostra. Para um sítio pequeno isto quer dizer amostragem nenhuma, e é por isso que uma afirmação seca de "amostra" estaria errada para a maior parte dos sítios com probabilidade de estar a ler isto.

O sinal é um relatório que dá números ligeiramente diferentes cada vez que o carregas, ou um pequeno aviso sobre a qualidade dos dados que a maior parte das pessoas se treinou para não ver.

Modelação

A ferramenta não observou a coisa de todo, e estimou-a a partir daquilo que observou.

É isto que o Consent Mode faz: quando um visitante recusa o consentimento, o GA4 não tem identificador nenhum para ele, portanto as conversões e os utilizadores são modelados a partir do comportamento do tráfego que consentiu. É também o que querem dizer as "conversões modeladas" na maior parte das plataformas de anúncios.

A modelação não é amostragem. Uma amostra é um subconjunto de observações reais; um modelo é um cálculo sobre observações que nunca foram feitas. A estimativa pode ser boa, e é a única opção quando os dados subjacentes estão mesmo indisponíveis. Mas depende de a população modelada se comportar como a observada, e no caso do consentimento é essa exatamente a suposição com mais probabilidades de ser falsa: as pessoas que recusam não são uma amostra aleatória dos teus visitantes.

A consequência prática é que os valores modelados não se conseguem reconciliar com nada. Se as tuas conversões incluem conversões modeladas e o teu CRM não, as duas coisas nunca vão bater certo, e nenhuma quantidade de investigação vai encontrar a diferença, porque não é um erro.

Supressão de linhas pequenas

A ferramenta tem o número e não to mostra.

O GA4 suprime linhas em que o grupo é pequeno ao ponto de um indivíduo poder ser identificável, sobretudo quando há dados demográficos ou o Signals envolvidos. A linha desaparece, e os totais deixam de dar a soma das partes visíveis.

Este causa confusão a sério porque parece dados em falta em vez de dados retidos. Alguém exporta um relatório, soma uma coluna, compara-a com o total do cabeçalho, encontra uma diferença, e vai à procura de um defeito de medição que não existe.

Porque é que importa mais do que parece

Cada uma destas coisas é defensável isoladamente. Juntas produzem uma falha específica: não consegues saber se uma mudança num número é uma mudança no mundo.

Se a semana passada mostrou 4,2% de conversão e esta semana mostra 3,8%, a pergunta útil é se aconteceu alguma coisa. Com dados contados, aconteceu alguma coisa. Com dados amostrados, a diferença pode estar dentro da margem. Com dados modelados, o modelo pode ter sido treinado outra vez. Com dados suprimidos, uma linha pode ter atravessado um limite de privacidade e desaparecido.

É também por isto que a analítica amostrada e os testes A/B se dão mal. Um teste é um exercício de decidir se uma pequena diferença é real, e corrê-lo sobre estimativas acrescenta uma fonte de variância que não consegues quantificar de dentro da ferramenta.

O que perguntar sobre uma ferramenta

  1. A que volume começa a amostrar, e isso pode ser desligado?
  2. Distingue os valores observados dos modelados na interface? Se forem somados num só número, não os consegues separar depois.
  3. Suprime linhas pequenas? Se sim, a partir de que limiar?
  4. A mesma pergunta e o mesmo período devolvem sempre o mesmo número? É o teste mais fácil e podes fazê-lo tu: carrega um relatório duas vezes e compara.

O número quatro apanha a amostragem de imediato. Fá-lo num relatório filtrado em vez de num relatório de cabeçalho, porque é aí que o subconjunto fica pequeno.

Onde é que a Skomi se posiciona

A Skomi não amostra a volume nenhum. Todos os relatórios são uma contagem das linhas, e um relatório filtrado é uma contagem das linhas que coincidiram, portanto uma pergunta sobre uma campanha num país numa página está a responder a partir dessas visitas e não de uma extrapolação delas.

Não há valores modelados, porque não há buraco de consentimento para modelar: não se escreve nada no dispositivo do visitante na definição de origem, portanto não existe uma população de visitantes que recusaram e se tornaram invisíveis. E as linhas não são suprimidas, portanto as partes somam o total.

As páginas de comparação põem isto ao lado do que cada alternativa faz, incluindo as linhas em que a alternativa ganha. As afirmações sobre amostragem que lá estão foram verificadas contra a documentação de cada fornecedor em vez de repetidas de memória, que é também por que duas delas dizem "depende" em vez de "não".

A Skomi não amostra: todas as visitas são contadas, seja qual for o volume, que é uma das linhas que o produto Analytics foi construído para segurar. A amostragem apresenta o termo tal como é usado aqui.