Commencer par les données observées
Les résultats sont établis à partir de cohortes de visiteurs exposées enregistrées et d'événements de résultats correspondants. Les dates de cohorte utilisent UTC. Les nombres peuvent être vides lorsqu'aucun événement admissible n'a été enregistré; Varypilot ne remplit pas de données de rendement illustratives.
Interpréter ensemble l'objectif sélectionné, l'intervalle de date, la monnaie, la version d'allocation et la fenêtre de conversion. Une ligne d'une page de déclaration incomplète ne doit pas être présentée comme un total d'expériences complet.
Analyse de conversion
La comparaison binaire courante utilise une approximation normale pour la différence entre les proportions de conversion et les intervalles de 95 %. Les intervalles de conversion par bras utilisent la méthode Wilson. Une comparaison n'est pas disponible lorsque l'un ou l'autre bras n'a pas de visiteurs ou que le nombre de réussites/échecs est insuffisant.
Les intervalles et les valeurs de p sont appariés; une conception multivariante a besoin de son propre plan de comparaison multiple. Un intervalle est une incertitude au sujet d'une estimation, et non d'une élévation future garantie.
Analyse des recettes
Les comparaisons de revenus utilisent une approximation normale au niveau des visiteurs et nécessitent au moins 30 visiteurs exposés par bras. Les montants des revenus et la somme des carrés sont nécessaires pour la variance.
Prendre la décision
Vérifier la taille de l'échantillon prévu, la durée prévue, la mesure primaire et le diagnostic de la qualité des données avant de décider. La signification statistique à elle seule n'établit pas la valeur commerciale, une intégration saine ou un horizon d'arrêt fini.