Por quanto tempo devo manter meu Teste AB?
Saiba quando você deve desligar seu experimento
O Teste A/B Realmente Aumenta As Taxas De Conversão?
Em termos simples, um teste A/B compara duas versões do mesmo conceito para ver qual tem melhor desempenho. Embora exista há quase 100 anos, muitos profissionais de marketing ainda evitam a execução de testes A/B. O principal motivo? A maioria deles não sabe por quanto tempo devem executar um teste A/B ou como configurá-los para obter resultados precisos.
Para demonstrar a eficácia do teste A/B, vamos dar uma olhada em um experimento fascinante do Google, conhecido como o teste '50 Shades of Blue'. Este teste com um nome peculiar foi projetado para responder à pergunta: A cor dos links no Google Search Ads pode afetar as taxas de cliques?
Uma equipe do Google, liderada por Marissa Meyer, que era a chefe de produto na época, realizou uma série de testes A/B. Eles apresentaram diferentes tons de azul para 1% de seus usuários de cada vez, executando mais de 40 experimentos com todos os tons concebíveis de azul. No final, um tom particular de azul arroceado surgiu como o vencedor. O teste provou estar longe de ser inútil: o Google supostamente viu um impressionante aumento de US$ 200 milhões na receita atribuída a essa pequena mudança de cor!
Isso não é surpreendente? Uma alteração sutil no tom de cor fez uma diferença tão significativa no comportamento de clique do usuário. Ele mostra que cada pequeno detalhe conta quando se trata de testes A/B e experiência do usuário.
Além disso, várias histórias de sucesso provam a eficácia dos testes A/B. Por exemplo, o Kiva.org aumentou suas conversões em 11,5% apenas adicionando algumas perguntas frequentes, estatísticas e provas sociais.
Então surge a pergunta - por quanto tempo você deve realizar seu teste A/B?
Por Quanto Tempo Você Deve Fazer Seu Teste A/B?
A resposta simples é, execute-o pelo tempo que for necessário para atingir uma significância estatística de 95%-99%. Isso significa que você pode estar 95%-99% confiante de que seu resultado é válido.
Apressar seu teste A/B e pará-lo prematuramente pode infinar os resultados, tornando o teste ineficaz. Embora possa ser tentador parar quando você obtém os resultados desejados, você deve sempre se esforçar para obter uma alta significância estatística.
Como regra geral, execute seus testes por pelo menos duas semanas. O tráfego e as conversões da Web flutuam, então testar por uma semana inteira lhe dará uma imagem completa. Se você ainda não estiver com 95% de significância, teste por mais uma semana.
Conclusão
A paciência é realmente uma virtude quando se trata de testes A/B. E às vezes, se não houver um vencedor claro após meses de testes, pode ser hora de começar de novo com um novo conjunto de variantes. Lembre-se, o objetivo é obter insights valiosos, não apenas acabar com isso rapidamente.
Resumindo, a chave para um teste A/B eficaz é formar a hipótese certa, visar uma alta significância estatística, garantir um tamanho de amostra grande o suficiente e dar ao seu teste tempo suficiente. Em outras palavras, seja preciso e paciente.