Commencez par une décision
Décrivez le problème de l'utilisateur, le changement proposé, le résultat attendu et le raisonnement. Choisissez une mesure primaire avant le lancement. Décidez quels résultats vous faire arrêter le test, combien de temps vous mesurerez et qui examinera la décision.
Allouer le trafic
La répartition du trafic détermine la part des visiteurs admissibles qui entre dans l'expérience. Les poids variables déterminent la répartition à l'intérieur de ce trafic. La répartition utilise des points de base : 10 000 équivaut à 100 %.
Un identifiant de visiteur stable, l'identité de l'expérience, le domaine et la version d'attribution déterminent l'attribution. Gardez les identifiants cohérents entre les requêtes et les intégrations. Ne modifiez pas le protocole d'assignation ou l'identificateur pendant une expérience en cours d'exécution.
Planifier l'horizon
L'estimation intégrée de la conversion à deux bras utilise une approximation de la confiance à 95 %, de la puissance normale à 80 %. Les plans de revenus et de variables multiples ont besoin d'une conception adaptée à leur variance et à leurs comparaisons.
La vérification répétée d'une valeur p et l'arrêt lorsqu'il devient petit d'abord n'est pas un plan d'arrêt fixe valide.
Projets et expériences commencées
Après le lancement, l'attribution, le ciblage et le plan d'analyse sont gelés. Pour tester une hypothèse différente, le public ou le plan d'allocation, créez une nouvelle expérience, ce qui préserve la signification des résultats enregistrés.