Inizia con i dati osservati
I risultati sono costruiti da coorte di visitatori a vista registrate e gli eventi esiti corrispondenti. Le date di coorte usano UTC. I conti possono essere vuoti quando non sono stati registrati eventi idonei; Varypilot non popola i dati illustrativi delle prestazioni.
Interpretare l'obiettivo selezionato, l'intervallo di date, la valuta, la versione di allocazione e la finestra di conversione insieme.
Analisi della conversione
L'attuale paragone binario utilizza una normale approssimazione per la differenza delle proporzioni di conversione e degli intervalli del 95%. Gli intervalli di conversione per braccio usano il metodo Wilson.
Intervalli e p-valori sono binomi; un design multi-variante ha bisogno di un proprio piano multi-comparison; un intervallo è l'incertezza su una stima, non un uplift futuro garantito.
Analisi delle entrate
I raffronti delle entrate utilizzano un'approssimazione normale del livello dei visitatori e richiedono almeno 30 visitatori esposti per braccio. Le somme delle entrate e la somma delle squame sono necessarie per la varianza. I ricavi per la coda pesante, i risultati immaturali e le dimensioni dei campioni deboli possono rendere il risultato inaffidabile.
Prendere la decisione
Controllare la dimensione del campione prevista, la durata pianificata, la diagnostica primaria metrica e di qualità dei dati prima di decidere.