Cultura de experimentação e testes A/B

Um experimento controlado online, o teste A/B, divide aleatoriamente os usuários entre a versão atual (controle) e uma ou mais versões novas (tratamento) e compara os resultados. Como o sorteio equilibra os grupos, a diferença observada pode ser atribuída à mudança, dentro da margem estatística.

Os conceitos que mais pesam

Ron Kohavi, Diane Tang e Ya Xu reuniram em "Trustworthy Online Controlled Experiments" (2020) a experiência de programas de experimentação em grandes empresas de tecnologia. Alguns pontos centrais:

• OEC (overall evaluation criterion): a métrica, ou combinação de métricas, definida antes do teste para dizer o que é sucesso.
• Teste A/A: comparar dois grupos com a mesma versão para verificar se a plataforma de testes está confiável.
• Desequilíbrio de amostra (sample ratio mismatch): se a proporção de usuários entre os grupos foge do planejado, o resultado não é confiável.
• Lei de Twyman: resultado surpreendente demais costuma ser erro; deve ser investigado antes de comemorado.

Por que é cultura, e não ferramenta

A ferramenta de sorteio é a parte fácil. O difícil é aceitar que muitas ideias não melhoram a métrica, decidir a métrica antes de ver os dados e não encerrar o teste no primeiro dia em que o gráfico parece bom.

Onde cabe

Experimentos funcionam melhor onde há volume de usuários e o efeito aparece em pouco tempo. Em problemas complexos com pouco volume, cabem experimentos menores e qualitativos. A North Star Metric é uma candidata natural a compor o OEC.