Comienza con una decisión
Describa el problema del usuario, el cambio propuesto, el resultado esperado y el razonamiento. Elija una métrica primaria antes del lanzamiento. Decida qué resultados le harían detener la prueba, cuánto tiempo medirá y quién revisará la decisión.
Localizar el tráfico
La asignación de tráfico determina qué parte de los visitantes elegibles entran en el experimento. Los pesos variables determinan la división dentro de ese tráfico. La asignación utiliza puntos de base: 10.000 equivale al 100%.
Un identificador de visitantes estable, la identidad de experimento, el dominio y la versión de asignación determinan la asignación. Mantenga los identificadores consistentes en todas las solicitudes e integraciones. No cambie el protocolo de asignación o identificador durante un experimento de ejecución.
Planifica el horizonte
Recordar el efecto mínimo detectable y el tamaño o duración de la muestra programada antes de la publicación. La estimación integrada de planificación de la conversión de dos brazos utiliza una confianza del 95%, una aproximación normal de potencia del 80%. Los planes de ingresos y multivariantes necesitan un diseño adecuado a su varianza y comparaciones.
Repetidamente comprobando un valor p y parar cuando se vuelve pequeño no es un plan de parada válido de caballo fijo.
Borradores y experimentos iniciados
Los borradores pueden ser editados. Después del lanzamiento, asignación, selección y el plan de análisis se congelan. Para probar una hipótesis diferente, el público o el plan de asignación, crear un nuevo experimento. Esto preserva el significado de los resultados registrados.