Ressourcen · 26
Führen Sie ein A/B-Experiment durch, das eine fundierte Entscheidung unterstützt
Geben Sie Hypothese, Zuordnung, primäre Metrik und Leitplanken an, bevor Sie Varianten vergleichen.
Aktualisiert · 2 min
Wozu dieser Leitfaden beiträgt
- Registrieren Sie das Protokoll vor
- Zuordnung prüfen
- Leitplanken beobachten
- Entscheiden Sie mit Unsicherheit
Kurzcheck
- Welche konkrete Hypothese könnte widerlegt werden?
- Welche Einheit erhält die Variante?
- Passt die beobachtete Allokation zum Plan?
- Welcher Schaden rechtfertigt eine Pause?
- Wurden Dauer und Segmente festgelegt, bevor Ergebnisse angezeigt wurden?
Schritt-für-Schritt-Anleitung
- 1
Geben Sie die vorgeschlagene Änderung an
Schreiben Sie den erwarteten Mechanismus, die Zielpopulation und die Auswirkung auf eine primäre Metrik. Beschreiben Sie mögliche Zugänglichkeits- und Servicerisiken.
Liefergegenstand: datierte Hypothese und Erfolgskriterien.
- 2
Zuordnung definieren
Wählen Sie die Randomisierungseinheit und halten Sie die Zuordnung über Besuche hinweg stabil. Schließen Sie Bots aus und geben Sie vor dem Start Segmente außerhalb des Gültigkeitsbereichs an.
Liefergegenstand: Zuordnungsprotokoll und Ausschlüsse.
- 3
Instrument und Test
Expositions-, Konvertierungs- und Leitplanken-Ereignisse für beide Varianten überprüfen. Testen Sie Mobilgeräte, Zustimmungsverweigerungs- und Fehlerzustände.
Liefergegenstand: QS-Aufzeichnung beider Fahrten.
- 4
Probenverhältnis prüfen
Vergleichen Sie beobachtete und erwartete Zuordnungen, bevor Sie den Behandlungseffekt ablesen. Eine Nichtübereinstimmung kann Zuordnungs-, Mess- oder Targeting-Mängel aufdecken.
Lieferumfang: Verhältnisprüfung und Abweichungsdiagnose.
- 5
Zum geplanten Zeitpunkt analysieren
Respektieren Sie das gewählte Fenster und melden Sie Unsicherheit, primäre Metrik, Schäden und geplante Segmentanalyse. Untersuchen Sie Überraschungen, ohne im Nachhinein nur die günstigste Zahl auszuwählen.
Liefergegenstand: Analyse mit Einschränkungen und Unsicherheit.
- 6
Entscheiden und nachverfolgen
Weisen Sie einem Rollout, Abbruch oder einem anderen Test einen Eigentümer zu. Überprüfen Sie nach dem Rollout, ob der Effekt und die Leitplanken konsistent bleiben.
Liefergegenstand: Archivierte Entscheidung und Post-Rollout-Prüfung.
Managementindikatoren
| Indikator | Was es misst | Erste Aktion |
|---|---|---|
| Aufgabe | Erwartetes versus beobachtetes Stichprobenverhältnis | Diagnose vor Analyse |
| Belichtung | Berechtigte Benutzer wurden tatsächlich angezeigt | Targeting reparieren |
| Wirkung | Primärmetrische Änderung und Unsicherheit | Geplante Entscheidungsregel anwenden |
| Leitplanken | Fehler, Latenz und Abbruch pro Variante | Schädliche Behandlung pausieren |
Häufige Fallstricke
- Stoppen, wenn eine Zahl zunächst günstig erscheint
- Sammeln vieler Metriken ohne eine primäre
- Nicht übereinstimmendes Probenverhältnis wird ignoriert
- Ein winziges Segment als allgemeinen Beweis behandeln
Häufig gestellte Fragen
Ist das Stichprobenverhältnis eine untergeordnete Formsache?
Nein. Eine unerklärte Nichtübereinstimmung kann den Vergleich unzuverlässig machen.
Soll die Umrechnung täglich überprüft werden?
Eine operative Überwachung hilft, aber eine Änderung der Dauer oder der Entscheidungsregel als Reaktion auf Ergebnisse untergräbt die geplante Interpretation.
Was ist, wenn das Ergebnis unsicher ist?
Geben Sie Unsicherheit und plausible Effektgröße an und entscheiden Sie dann, ob ein anderes Experiment einen echten Wert hat.
Offizielle Referenzen
Die Referenzen unterstützen die Methode. Passen Sie die Prüfungen an Ihren Kontext an; sie stellen keine Zertifizierung dar. Originalreferenztitel und Quelldokumente können in einer anderen Sprache verfasst sein.
