Beginnen Sie mit einer Entscheidung
Beschreiben Sie das Benutzerproblem, die vorgeschlagene Änderung, das erwartete Ergebnis und die Argumentation. Wählen Sie eine primäre Metrik vor dem Start. Entscheiden Sie, welche Ergebnisse Sie veranlassen würden, den Test zu unterbrechen, wie lange Sie messen werden und wer die Entscheidung überprüfen wird.
Zuweisung des Verkehrs
Die Verkehrszuweisung bestimmt, welcher Anteil der teilnahmeberechtigten Besucher am Experiment teilnimmt. Variante Gewichte bestimmen die Aufteilung innerhalb dieses Verkehrs. Die Allokation verwendet Basispunkte: 10.000 entspricht 100%. Alle Variantengewichte zusammen müssen 10.000 ergeben.
Eine stabile Besucherkennung, Experimentidentität, Domänen- und Zuweisungsversion bestimmen die Zuordnung; Bezeichner konsistent über Anforderungen und Integrationen hinweg halten; das Zuweisungsprotokoll oder den Bezeichner während eines laufenden Experiments nicht ändern.
Planen Sie den Horizont
Vor der Veröffentlichung ist der minimale nachweisbare Effekt und die geplante Stichprobengröße oder -dauer aufzuzeichnen. Die eingebaute zweiarmige Umrechnungsplanungsschätzung verwendet eine 95-prozentige Konfidenz, eine 80-prozentige normale Approximation. Einnahmen und multivariante Pläne erfordern ein Design, das ihrer Varianz und ihren Vergleichen entspricht.
Das wiederholte Überprüfen eines p-Wertes und das Stoppen, wenn er zuerst klein wird, ist kein gültiger Stoppplan mit festem Horizont.
Entwürfe und begonnene Experimente
Entwürfe können bearbeitet werden. Nach dem Start werden Allokation, Targeting und der Analyseplan eingefroren. Um eine andere Hypothese, ein anderes Publikum oder einen anderen Allokationsplan zu testen, erstellen Sie ein neues Experiment. Dadurch bleibt die Bedeutung der aufgezeichneten Ergebnisse erhalten.