Calculadora de significância de teste A/B
Informe visitantes e conversões das versões A e B e veja se a diferença é estatisticamente significativa ou só acaso, com p-valor e nível de confiança. Grátis e sem cadastro.
-
Conversão de A
-
Conversão de B
-
Diferença de B sobre A
-
Confiança de que há diferença
-
p-valor
-
Veredito
Usa o teste z para duas proporções, bilateral. Defina o tamanho da amostra antes de começar e não pare o teste na primeira vez que o resultado parecer bom: isso infla os falsos positivos.
Quer um programa de testes na sua página? Veja a otimização de conversão →Grátis e sem cadastro. As contas são feitas no seu navegador: nada do que você digita é enviado para o nosso servidor.
A versão B venceu mesmo?
Em um teste A/B, a taxa de conversão de duas versões quase nunca é idêntica, só por sorte. A pergunta é se a diferença que você viu é grande o bastante para não ser acaso. Esta calculadora responde isso com um teste estatístico padrão, o teste z para duas proporções, e mostra a confiança no resultado.
Como usar
- Informe quantos visitantes viram a versão A (a original) e quantos converteram.
- Faça o mesmo para a versão B (a nova).
- Veja a taxa de cada uma, a diferença, o p-valor e o veredito.
Como ler o resultado
- Diferença: quanto B converte a mais ou a menos que A, em termos relativos.
- p-valor: a chance de ver uma diferença igual ou maior se, na verdade, não houvesse nenhuma. Abaixo de 0,05, usamos o veredito “venceu”.
- Confiança: 1 menos o p-valor, em percentual. Confiança de 95% corresponde a p = 0,05.
Erros comuns em testes A/B
- Parar cedo: olhar o resultado todo dia e parar na primeira vez que a confiança passa de 95% gera falsos positivos. Defina a amostra antes e espere.
- Poucas conversões: com menos de 30 conversões por versão, o resultado oscila muito.
- Testar muita coisa de uma vez: se mudou título, imagem e botão, não sabe o que causou a diferença.
- Ignorar o ciclo de compra: rode o teste por semanas inteiras, para incluir dias úteis e fins de semana.
Testes bem feitos são a base da otimização de conversão. Para planejar o tráfego do teste, use a calculadora de funil.
Diagnóstico gratuito
Quer mais leads, e não só números?
No diagnóstico gratuito olhamos suas campanhas, seu site e seu atendimento e mostramos onde estão os contatos que você está perdendo.
Agendar diagnósticoPerguntas frequentes
O que significa 95% de confiança?
Que, se não houvesse diferença real entre as versões, você veria um resultado tão extremo em menos de 5% dos testes. Não quer dizer que há 95% de chance de B ser melhor, e sim que o acaso é uma explicação pouco provável.
Quantos visitantes preciso para um teste A/B?
Depende da conversão atual e do tamanho da melhoria que você quer detectar. Melhorias pequenas exigem milhares de visitantes por versão. Como regra, procure ao menos algumas dezenas de conversões em cada versão.
Posso parar o teste assim que der significante?
Não é recomendado. Conferir o resultado várias vezes e parar na primeira vez que ele passa de 95% aumenta muito os falsos positivos. Defina o tamanho da amostra antes e só analise ao final.
Os dados que eu digito são enviados?
Não. A conta é feita no seu navegador. Se você compartilhar o resultado, os números vão apenas no endereço do link.
Pronto para transformar cliques em receita previsível?
Receba um diagnóstico gratuito com projeção de leads, custo por aquisição e o plano de ação para os próximos 90 dias.
Resposta em até 1 hora útil · (31) 99379-6963 · [email protected]