Es gibt einen Unterschied zwischen einem Werkzeug, das 12.847 Besuche gezählt hat, und einem Werkzeug, das 1.284 gezählt und mit zehn multipliziert hat. Beide zeigen 12.847 an. Nur eines von beiden wird morgen noch 12.847 sagen.

Drei getrennte Mechanismen ersetzen Zählungen durch Schätzungen, sie werden häufig verwechselt, und nur einer davon heißt Stichprobenbildung.

Stichproben

Das Werkzeug verarbeitet eine Teilmenge der Daten und rechnet das Ergebnis hoch.

Das gibt es aus einem guten technischen Grund: Eine beliebige Frage über Milliarden Zeilen zu beantworten ist teuer, und eine 1-%-Stichprobe beantwortet die meisten Fragen innerhalb einer brauchbaren Spanne zu einem Hundertstel der Kosten. Für „ist der Verkehr diesen Monat hoch oder runter" ist eine Stichprobe wirklich in Ordnung.

Sie hört auf, in Ordnung zu sein, wenn Sie dünn schneiden. Die Fehlerspanne wächst, während die Teilmenge schrumpft: Ein Bericht über den gesamten Verkehr kann auf Bruchteile eines Prozents genau sein, während derselbe Bericht, gefiltert auf eine Kampagne, ein Land und eine Landeseite, auf elf Sitzungen aus der Stichprobe beruht und im Wesentlichen Rauschen ist, angezeigt auf vier geltende Ziffern.

Zwei Tatsachen über die Werkzeuge, die die meisten nutzen:

  • GA4 bildet in Explorationen Stichproben oberhalb einer Schwelle; Googles Dokumentation setzt sie bei 10 Millionen Ereignissen für eine Standard-Property an. Standardberichte werden nicht per Stichprobe gebildet. Die Stichprobe kommt also genau dann, wenn Sie aufhören, das Dashboard zu lesen, und anfangen, eine echte Frage zu stellen.
  • Cloudflare Web Analytics bildet Stichproben adaptiv. Unterhalb eines gewissen Volumens bildet es überhaupt keine, und darüber werden die Zahlen aus einer Stichprobe hochgerechnet. Für eine kleine Website heißt das: keine Stichprobe, weshalb eine pauschale Behauptung „es bildet Stichproben" für die meisten Websites falsch wäre, die dies wahrscheinlich lesen.

Das Anzeichen ist ein Bericht, der bei jedem Laden leicht andere Zahlen liefert, oder ein kleiner Hinweis zur Datenqualität, den die meisten sich abtrainiert haben zu sehen.

Modellierung

Das Werkzeug hat die Sache gar nicht beobachtet und sie aus dem geschätzt, was es beobachtet hat.

Das ist, was Consent Mode tut: Wenn ein Besucher die Einwilligung verweigert, hat GA4 keine Kennung für ihn, Konversionen und Nutzer werden also aus dem Verhalten des eingewilligten Verkehrs modelliert. Es ist auch das, was „modellierte Konversionen" in den meisten Werbeplattformen heißt.

Modellierung ist keine Stichprobe. Eine Stichprobe ist eine Teilmenge echter Beobachtungen; ein Modell ist eine Rechnung über Beobachtungen, die nie gemacht wurden. Die Schätzung kann gut sein, und sie ist die einzige Möglichkeit, sobald die zugrunde liegenden Daten wirklich nicht verfügbar sind. Aber sie hängt davon ab, dass die modellierte Gruppe sich wie die beobachtete verhält, und im Einwilligungsfall ist das genau die Annahme, die am ehesten falsch ist: Wer ablehnt, ist keine Zufallsstichprobe Ihrer Besucher.

Die praktische Folge ist, dass modellierte Zahlen mit nichts in Einklang zu bringen sind. Wenn Ihre Konversionen modellierte enthalten und Ihr CRM nicht, werden die beiden nie zusammenpassen, und keine noch so gründliche Untersuchung wird den Unterschied finden, denn er ist kein Fehler.

Schwellenwerte

Das Werkzeug hat die Zahl und zeigt sie Ihnen nicht.

GA4 unterdrückt Zeilen, in denen die Gruppe klein genug ist, dass eine Einzelperson erkennbar sein könnte, besonders wenn Demografie oder Signals im Spiel sind. Die Zeile verschwindet, und die Summen ergeben nicht mehr die Summe der sichtbaren Teile.

Das stiftet echte Verwirrung, weil es wie fehlende statt wie zurückgehaltene Daten aussieht. Jemand exportiert einen Bericht, summiert eine Spalte, vergleicht sie mit der Gesamtzahl, findet eine Lücke und macht sich auf die Suche nach einem Erfassungsfehler, den es nicht gibt.

Warum es mehr zählt, als es klingt

Jeder Einzelne davon ist für sich vertretbar. Zusammen erzeugen sie einen bestimmten Fehler: Sie können nicht erkennen, ob eine Änderung einer Zahl eine Änderung in der Welt ist.

Wenn letzte Woche 4,2 % Konversion zeigte und diese Woche 3,8 % zeigt, ist die nützliche Frage, ob etwas geschehen ist. Bei gezählten Daten ist etwas geschehen. Bei Stichprobendaten kann der Unterschied innerhalb der Spanne liegen. Bei modellierten Daten kann das Modell neu trainiert worden sein. Bei Daten mit Schwellenwert kann eine Zeile eine Datenschutzgrenze überschritten haben und verschwunden sein.

Deshalb vertragen sich Analytics mit Stichproben und A/B-Tests auch schlecht. Ein Test ist die Übung, zu entscheiden, ob ein kleiner Unterschied echt ist, und ihn auf Schätzungen laufen zu lassen fügt eine Quelle von Streuung hinzu, die Sie aus dem Werkzeug heraus nicht beziffern können.

Was Sie über ein Werkzeug fragen sollten

  1. Ab welchem Volumen beginnt es, Stichproben zu bilden, und lässt sich das abschalten?
  2. Unterscheidet es in der Oberfläche beobachtete von modellierten Zahlen? Wenn sie zu einer Zahl zusammenaddiert werden, können Sie sie später nicht mehr trennen.
  3. Unterdrückt es kleine Zeilen? Wenn ja, ab welcher Schwelle?
  4. Liefern dieselbe Abfrage und derselbe Zeitraum immer dieselbe Zahl? Das ist der einfachste Test, und Sie können ihn selbst durchführen: Laden Sie einen Bericht zweimal und vergleichen Sie.

Nummer vier erwischt eine Stichprobe sofort. Führen Sie ihn auf einem gefilterten Bericht durch statt auf einem übergeordneten, denn dort wird die Teilmenge klein.

Wo Skomi steht

Skomi bildet bei keinem Volumen Stichproben. Jeder Bericht ist eine Zählung der Zeilen, und ein gefilterter Bericht ist eine Zählung der Zeilen, die passten: eine Abfrage nach einer Kampagne in einem Land auf einer Seite antwortet also aus diesen Besuchen und nicht aus einer Hochrechnung davon.

Es gibt keine modellierten Zahlen, denn es gibt keine Einwilligungslücke zu modellieren: In der Voreinstellung wird nichts auf die Endeinrichtung des Besuchers geschrieben, es gibt also keine Gruppe von Besuchern, die abgelehnt haben und unsichtbar wurden. Und Zeilen werden nicht unterdrückt, die Teile ergeben also die Summe.

Die Vergleichsseiten stellen das neben das, was jede Alternative tut, einschließlich der Zeilen, in denen die Alternative gewinnt. Die Stichprobenangaben dort wurden gegen die Dokumentation der Anbieter geprüft statt aus dem Gedächtnis wiederholt, weshalb zwei davon „es kommt darauf an" sagen statt „nein".

Skomi bildet keine Stichproben: Jeder Besuch wird gezählt, gleich bei welchem Volumen, und das ist eine der Zeilen, für die das Analytics-Produkt gebaut ist. Stichprobenbildung legt den Begriff so dar, wie er hier verwendet wird.