Iniziare con una decisione
Descrivi il problema dell'utente, il cambiamento proposto, l'esito atteso e il ragionamento. Scegli una metrica primaria prima del lancio.Decidi quali risultati ti faranno mettere in pausa il test, quanto tempo si misura e chi esaminerà la decisione.
Allocazione del traffico
L'allocazione del traffico determina quale quota di visitatori idonei entra nell'esperimento. I pesi variabili determinano la divisione all'interno di quel traffico. L'allocazione utilizza i punti base: 10.000 pari al 100%. Tutti i pesi delle varianti devono totali 10.000.
Un identificatore stabile del visitatore, l'identità dell'esperimento, la versione di dominio e di allocazione determinano l'assegnazione. Tenere gli identificatori coerenti tra richieste e integrazioni.
Pianificare l'orizzonte
Registrare l'effetto minimo rilevabile e una dimensione o durata del campione pianificato prima della pubblicazione. La stima di conversione a due bracci incorporata utilizza una fiducia del 95%, 80% di potenza di approssimazione normale.
Controllare ripetutamente un p-valore e fermarsi quando diventa piccolo non è un piano di arresto fisso-horizon valido.
Progetti e esperimenti avviati
Dopo il lancio, l'allocazione, il targeting e il piano di analisi sono congelati, per testare un'ipotesi diversa, il pubblico o il piano di allocazione, creare un nuovo esperimento, preservando il significato dei risultati registrati.