Es gibt einen Unterschied zwischen einem Werkzeug, das 12.847 Besuche gezählt hat, und einem Werkzeug, das 1.284 gezählt und mit zehn multipliziert hat. Beide zeigen 12.847 an. Nur eines von beiden wird morgen noch 12.847 sagen.

Drei getrennte Mechanismen ersetzen Zählungen durch Schätzungen, sie werden häufig verwechselt, und nur einer davon heißt Stichprobenbildung.

Stichproben

Das Werkzeug verarbeitet eine Teilmenge der Daten und rechnet das Ergebnis hoch.

Das gibt es aus einem guten technischen Grund: Eine beliebige Frage über Milliarden Zeilen zu beantworten ist teuer, und eine 1-%-Stichprobe beantwortet die meisten Fragen innerhalb einer brauchbaren Spanne zu einem Hundertstel der Kosten. Für „ist der Verkehr diesen Monat gestiegen oder gesunken" ist eine Stichprobe wirklich in Ordnung.

Sie hört auf, in Ordnung zu sein, wenn Sie sehr fein aufschlüsseln. Die Fehlerspanne wächst, während die Teilmenge schrumpft: Ein Bericht über den gesamten Verkehr kann auf Bruchteile eines Prozents genau sein, während derselbe Bericht, gefiltert auf eine Kampagne, ein Land und eine Landeseite, auf elf Sitzungen aus der Stichprobe beruht und im Wesentlichen Rauschen ist, angezeigt mit vier signifikanten Stellen.

Zwei Tatsachen über die Werkzeuge, die die meisten nutzen:

  • GA4 bildet in Explorationen Stichproben oberhalb einer Schwelle; Googles Dokumentation setzt sie bei 10 Millionen Ereignissen für eine Standard-Property an. Standardberichte beruhen nicht auf Stichproben. Die Stichprobe kommt also genau dann, wenn Sie aufhören, das Dashboard zu lesen, und anfangen, eine echte Frage zu stellen.
  • Cloudflare Web Analytics bildet Stichproben adaptiv. Unterhalb eines gewissen Volumens bildet es überhaupt keine, und darüber werden die Zahlen aus einer Stichprobe hochgerechnet. Für eine kleine Website heißt das: keine Stichprobe, weshalb eine pauschale Behauptung „es bildet Stichproben" für die meisten Websites, die dies hier lesen, falsch wäre.

Das Anzeichen ist ein Bericht, der bei jedem Laden leicht andere Zahlen liefert, oder ein kleiner Hinweis zur Datenqualität, den die meisten zu übersehen gelernt haben.

Modellierung

Das Werkzeug hat die Sache gar nicht beobachtet und sie aus dem geschätzt, was es beobachtet hat.

Genau das tut der Consent Mode: Wenn ein Besucher die Einwilligung verweigert, hat GA4 keine Kennung für ihn, Konversionen und Nutzer werden also aus dem Verhalten des eingewilligten Verkehrs modelliert. Das ist auch gemeint, wenn die meisten Werbeplattformen von „modellierten Konversionen" sprechen.

Modellierung ist keine Stichprobe. Eine Stichprobe ist eine Teilmenge echter Beobachtungen; ein Modell ist eine Rechnung über Beobachtungen, die nie gemacht wurden. Die Schätzung kann gut sein, und sie ist die einzige Möglichkeit, sobald die zugrunde liegenden Daten wirklich nicht verfügbar sind. Aber sie hängt davon ab, dass die modellierte Gruppe sich wie die beobachtete verhält, und im Einwilligungsfall ist das genau die Annahme, die am ehesten falsch ist: Wer ablehnt, ist keine Zufallsstichprobe Ihrer Besucher.

Die praktische Folge ist, dass modellierte Zahlen mit nichts in Einklang zu bringen sind. Wenn Ihre Konversionen modellierte enthalten und Ihr CRM nicht, werden die beiden nie zusammenpassen, und keine noch so gründliche Untersuchung wird den Unterschied finden, denn er ist kein Fehler.

Schwellenwerte

Das Werkzeug hat die Zahl und zeigt sie Ihnen nicht.

GA4 unterdrückt Zeilen, in denen die Gruppe klein genug ist, dass eine Einzelperson erkennbar sein könnte, besonders wenn Demografie oder Signals im Spiel sind. Die Zeile verschwindet, und die Summen ergeben nicht mehr die Summe der sichtbaren Teile.

Das stiftet echte Verwirrung, weil es wie fehlende statt wie zurückgehaltene Daten aussieht. Jemand exportiert einen Bericht, summiert eine Spalte, vergleicht sie mit der Gesamtzahl, findet eine Lücke und macht sich auf die Suche nach einem Erfassungsfehler, den es nicht gibt.

Warum es mehr zählt, als es klingt

Jeder dieser Mechanismen ist für sich vertretbar. Zusammen erzeugen sie einen bestimmten Fehler: Sie können nicht erkennen, ob eine Änderung einer Zahl eine Änderung in der Welt ist.

Wenn letzte Woche eine Konversionsrate von 4,2 % zeigte und diese Woche 3,8 %, ist die nützliche Frage, ob etwas geschehen ist. Bei gezählten Daten ist etwas geschehen. Bei Stichprobendaten kann der Unterschied innerhalb der Spanne liegen. Bei modellierten Daten kann das Modell neu trainiert worden sein. Bei Daten mit Schwellenwert kann eine Zeile eine Datenschutzgrenze überschritten haben und verschwunden sein.

Deshalb vertragen sich Analytics mit Stichproben und A/B-Tests auch schlecht. Ein Test ist die Übung, zu entscheiden, ob ein kleiner Unterschied echt ist, und ihn auf Schätzungen laufen zu lassen fügt eine Quelle von Streuung hinzu, die Sie aus dem Werkzeug heraus nicht beziffern können.

Was Sie über ein Werkzeug fragen sollten

  1. Ab welchem Volumen beginnt es, Stichproben zu bilden, und lässt sich das abschalten?
  2. Unterscheidet es in der Oberfläche beobachtete von modellierten Zahlen? Wenn sie zu einer Zahl zusammenaddiert werden, können Sie sie später nicht mehr trennen.
  3. Unterdrückt es kleine Zeilen? Wenn ja, ab welcher Schwelle?
  4. Liefern dieselbe Abfrage und derselbe Zeitraum immer dieselbe Zahl? Das ist der einfachste Test, und Sie können ihn selbst durchführen: Laden Sie einen Bericht zweimal und vergleichen Sie.

Nummer vier erwischt eine Stichprobe sofort. Führen Sie diesen Test mit einem gefilterten Bericht durch statt mit einer Gesamtübersicht, denn dort wird die Teilmenge klein.

Wo Skomi steht

Skomi bildet bei keinem Volumen Stichproben. Jeder Bericht ist eine Zählung der Zeilen, und ein gefilterter Bericht ist eine Zählung der Zeilen, die passten: eine Abfrage nach einer Kampagne in einem Land auf einer Seite antwortet also aus diesen Besuchen und nicht aus einer Hochrechnung davon.

Es gibt keine modellierten Zahlen, denn es gibt keine Einwilligungslücke zu modellieren: In der Voreinstellung wird nichts auf die Endeinrichtung des Besuchers geschrieben, es gibt also keine Gruppe von Besuchern, die abgelehnt haben und unsichtbar wurden. Und Zeilen werden nicht unterdrückt, die Teile ergeben also die Summe.

Die Vergleichsseiten stellen das neben das, was jede Alternative tut, einschließlich der Zeilen, in denen die Alternative gewinnt. Die Stichprobenangaben dort wurden anhand der Dokumentation der Anbieter geprüft statt aus dem Gedächtnis wiederholt, weshalb einige davon „es kommt darauf an" sagen statt „nein".

Jeden Besuch zu zählen, gleich bei welchem Volumen, ist genau das, wofür das Analytics-Produkt gebaut ist. Stichproben nimmt Skomi nur von Sitzungsaufzeichnungen, und nur mit der Aufzeichnungsquote, die Sie für jede Website selbst wählen; Stichprobe legt den Begriff so dar, wie er hier verwendet wird.