Beginnen met een beslissing
Beschrijf het gebruikersprobleem, voorgestelde verandering, verwachte uitkomst en redenering. Kies een primaire metriek voor de lancering. Beslis welke resultaten u de test zou laten onderbreken, hoe lang u zal meten en wie de beslissing zal herzien.
Toerekenen van verkeer
Verkeerstoewijzing bepaalt welk aandeel van de in aanmerking komende bezoekers in het experiment komt. Variantgewichten bepalen de verdeling binnen dat verkeer. Allocatie maakt gebruik van basispunten: 10.000 is gelijk aan 100%. Alle verschillende gewichten samen moeten in totaal 10.000.
Een stabiele bezoeker identifier, experiment identiteit, domein en allocatie versie bepalen de toewijzing. Houd identificaties consistent tussen verzoeken en integraties. Verander het toewijzing protocol of identificatie niet tijdens een lopende experiment.
Plan de horizon
Registreer het minimale detecteerbare effect en een geplande steekproefgrootte of duur alvorens te publiceren. De ingebouwde twee-armige conversie planning schatting maakt gebruik van een 95% vertrouwen, 80% macht normale benadering. Ontvangsten en multi-variant plannen moeten een ontwerp passend bij hun variantie en vergelijkingen.
Herhaaldelijk controleren van een p-waarde en stoppen wanneer het voor het eerst klein wordt is geen geldig vaste-horizon stopplan.
Concepten en experimenten gestart
Drafts kunnen worden bewerkt. Na de lancering, allocatie, targeting en het analyseplan worden bevroren. Om een andere hypothese, publiek of allocatieplan te testen, een nieuw experiment creëren. Dit behoudt de betekenis van opgenomen resultaten.