Iniciar com os dados observados
Os resultados são construídos a partir de coortes de visitantes expostos registrados e eventos de resultados correspondentes. As datas de coorte usam UTC. As contagens podem ser vazias quando não foram registrados eventos elegíveis; Varypilot não preenche dados de desempenho ilustrativos.
Interprete o objetivo selecionado, intervalo de datas, moeda, versão de alocação e janela de conversão juntos. Uma linha de uma página de relatórios incompletos não deve ser apresentada como um total completo de experimentos.
Análise de conversão
A comparação binária atual utiliza uma aproximação normal para a diferença nas proporções de conversão e intervalos de 95%. Os intervalos de conversão por braço usam o método de Wilson. Uma comparação não está disponível quando nenhum dos braços tem visitantes ou contagens insuficientes de sucesso/fracasso.
Os intervalos e os valores de p são emparelhados; um projeto multivariante precisa de seu próprio plano de comparação múltipla. Um intervalo é a incerteza sobre uma estimativa, não uma elevação futura garantida.
Análise das receitas
Comparações de receita usam uma aproximação normal de nível de visitante e exigem pelo menos 30 visitantes expostos por braço. As somas de receita e soma de quadrados são necessárias para a variância. Receita pesada, resultados imaturos e tamanhos de amostra fracos podem tornar um resultado não confiável.
Tomar a decisão
Verifique o tamanho da amostra planejada, duração planejada, métrica primária e diagnósticos de qualidade de dados antes de decidir. A significância estatística por si só não estabelece valor de negócio, uma integração saudável ou um horizonte de parada final.