Quase toda empresa que eu conheço tem painel. Poucas usam painel pra decidir alguma coisa.
O padrão é reconhecível: vinte gráficos, todos verdes, revisados numa reunião mensal em que alguém narra os números e ninguém muda de ideia. É teatro de dados.
O problema não é falta de instrumentação. É que ninguém definiu o que aqueles números deveriam responder.
O teste de uma pergunta
Para cada métrica no seu painel:
Se esse número dobrar amanhã, o que a gente faz de diferente?
Se a resposta for “nada, mas é bom saber”, aquela métrica não é métrica. É curiosidade, e curiosidade custa espaço de atenção.
Rodar esse teste num painel típico costuma eliminar dois terços dos gráficos. O que sobra passa a ser olhado de verdade.
Métrica de vaidade
Existe uma família de números que sobe sempre e não significa nada.
Total de usuários cadastrados. Só cresce, inclusive quando o produto está morrendo, porque ninguém descadastra.
Total de downloads. Mede intenção passada, não uso.
Visualizações de página. Sobe quando a navegação está confusa e a pessoa precisa de cinco cliques pra achar o que quer.
O denominador é o que separa vaidade de informação. “Dois mil usuários ativos” é vaidade. “Dois mil de doze mil cadastrados” é diagnóstico, e um diagnóstico ruim.
Toda métrica acumulada esconde a tendência. Prefira taxa, proporção e coorte.
A métrica que serve
Três propriedades.
Ela muda quando você faz alguma coisa. Métrica que só reflete sazonalidade ou o mercado não te dá retorno sobre as suas decisões.
Ela antecede o resultado. Receita é resultado, e ela chega tarde demais pra corrigir rota. O que antecede receita, num produto por assinatura, é a taxa de gente que chega ao momento de valor na primeira semana. Essa dá pra mexer hoje.
Ela é difícil de manipular sem melhorar o produto. Toda métrica vira alvo, e todo alvo é gamificado. “Tempo na página” sobe se você piorar a busca. “Tickets fechados” sobe se você fechar sem resolver.
Uma métrica bem escolhida é aquela em que o único jeito fácil de melhorar o número é melhorar a coisa.
O par que protege
Métrica sozinha sempre é enganada. Métrica em par é bem mais difícil.
Velocidade de entrega junto com taxa de incidente. Volume de vendas junto com taxa de cancelamento em trinta dias. Tickets resolvidos junto com reabertura.
O par existe porque toda otimização tem um custo, e o custo aparece em outro lugar. Sem o segundo número, você melhora um indicador e piora o negócio sem saber.
Segmentar é onde mora a informação
A média esconde tudo que importa.
Um tempo de resposta médio de 300ms pode ser 200ms pra 95% e 8 segundos pros 5% que têm mais dado, que costumam ser os clientes maiores. A média está ótima e os seus melhores clientes estão sofrendo. Foi exatamente esse mecanismo no cenário do índice faltando.
Percentil em vez de média, sempre. E segmentação por coorte: quem entrou este mês se comporta diferente de quem entrou há dois anos, e olhar tudo junto mistura duas populações que não têm nada a ver.
O que instrumentar primeiro
Se o produto tem pouca instrumentação, a ordem que dá mais retorno:
O funil da operação principal, etapa por etapa, com o número absoluto de cada uma. Só isso já mostra onde as pessoas somem.
Ativação: a proporção de quem chega ao momento em que o produto entrega valor. Definir qual é esse momento é o trabalho difícil, e é uma conversa de produto, não de engenharia.
Retenção por coorte: das pessoas que entraram na semana X, quantas continuam ativas depois de 1, 4 e 12 semanas.
Essas três respondem mais que qualquer painel com vinte gráficos.
Do lado da engenharia
Instrumentação é código e envelhece como código.
Evento com nome inconsistente, propriedade que mudou de significado, rastreamento que quebrou no deploy e ninguém percebeu por dois meses. Isso é comum e destrói a confiança no dado, que é pior que não ter dado: com dado errado se decide errado com confiança.
Duas práticas baratas: um esquema versionado dos eventos, com nome e propriedades definidos em um lugar só, e um alerta de volume por evento. Se um evento que dispara mil vezes por dia zerar, alguém precisa saber no mesmo dia.
A pergunta que fecha
Antes de adicionar qualquer métrica nova, escreva a decisão que ela vai informar.
Se você não conseguir escrever a frase “se esse número ficar abaixo de X, a gente faz Y”, ainda não é hora de instrumentar. É hora de descobrir qual é a pergunta.