Comience con datos observados
Los resultados se construyen a partir de cohortes de visitantes registrados y eventos de resultados coincidentes. Las fechas de cohorte utilizan UTC. Los condes pueden estar vacíos cuando no se han registrado eventos elegibles; Varypilot no contiene datos de rendimiento ilustrativos.
Interpretar el objetivo seleccionado, rango de fecha, moneda, versión de asignación y ventana de conversión juntos. Una fila desde una página de presentación incompleta no debe ser presentada como un total de experimento completo.
Análisis de conversiones
La comparación binaria actual utiliza una aproximación normal para la diferencia en las proporciones de conversión y intervalos del 95%. Los intervalos de conversión por arma utilizan el método Wilson. Una comparación no está disponible cuando un brazo no tiene visitantes o cuenta de éxito/falificación insuficiente.
Intervalos y p-valores son pares; un diseño multivariante necesita su propio plan de comparación múltiple. Un intervalo es la incertidumbre acerca de una estimación, no un futuro ascendente garantizado.
Análisis de los ingresos
Las comparaciones de ingresos utilizan una aproximación normal a nivel de visitantes y requieren por lo menos 30 visitantes expuestos por brazo. Se necesitan sumas de ingresos y sumas de plazas para la varianza. Ingresos de colas pesadas, resultados de inmaduros y tamaños de muestra débiles pueden hacer un resultado poco fiable.
Tomar la decisión
Compruebe el tamaño de la muestra planificada, la duración planificada, el diagnóstico métrico primario y la calidad de los datos antes de decidir. La significación estadística por sí sola no establece el valor de negocio, una integración saludable o un horizonte de parada terminado.