Comece com uma decisão
Descreva o problema do usuário, a alteração proposta, o resultado esperado e o raciocínio. Escolha uma métrica primária antes do lançamento. Decida quais resultados o farão pausar o teste, quanto tempo você medirá e quem revisará a decisão.
Alocar o tráfego
Alocação de tráfego determina qual parte dos visitantes elegíveis entra no experimento. Pesos variáveis determinam a divisão dentro desse tráfego. Alocação usa pontos de base: 10.000 é igual a 100%. Todos os pesos variantes juntos devem totalizar 10.000.
Um identificador de visitante estável, a identidade do experimento, o domínio e a versão de alocação determinam a atribuição. Mantenha identificadores consistentes entre solicitações e integrações. Não altere o protocolo de atribuição ou identificador durante um experimento em execução.
Planeje o horizonte
Registre o efeito mínimo detectável e o tamanho ou duração da amostra planejada antes da publicação.A estimativa de planejamento de conversão de dois braços incorporada utiliza uma aproximação de 95% de confiança, 80% de potência normal.Os planos de receita e multivariantes precisam de um desenho adequado à sua variância e comparações.
Verificar repetidamente um valor-p e parar quando se torna pequeno pela primeira vez não é um plano de paragem de horizonte fixo válido.
Rascunhos e experiências iniciadas
Os rascunhos podem ser editados. Após o lançamento, alocação, direcionamento e o plano de análise estão congelados. Para testar uma hipótese diferente, público ou plano de alocação, crie um novo experimento. Isto preserva o significado dos resultados registrados.