Apesar do número de startups estar aumentado no Brasil, ainda é difícil ver gente escrevendo bem sobre produto.

Muito se fala sobre empreendedorismo, vendas e growth hacking. Essa disparidade me preocupa um pouco, mas é assunto pra outro post.

Por isso, foi uma surpresa boa conhecer o trabalho do Raphael Farinazzo.

Gerente de Produto há 2 anos no RD Station, Raphael escreve no blog da empresa sobre métricas. A profundidade dos textos me chamou bastante atenção.

Pra quem não conhece, o RD Station é um software de automação de marketing. A empresa hoje conta com mais de 10.000 clientes na plataforma, sendo IMHO um dos produtos digitais mais relevantes já feitos no Brasil.

Aqui, o Raphael conta um pouco sobre quais números ele acompanha, com que frequência analisa os dados e como faz testes A/B no dia-a-dia.

Raphael, um assunto que confunde muito os times de tecnologia é o funil. Você tem um funil para cada feature do seu produto ou um funil único para o RD?

Temos o funil de Adoção para cada feature. Fazemos um acompanhamento semanal, mas só de bater o olho. Se algum número chamar a atenção, aí sim vamos investigar mais a fundo. Quando lançamos alguma alteração na funcionalidade, eu passo os primeiros dias acompanhando quase de hora em hora!

Como é o processo de criação de testes A/B?

Geralmente, definimos previamente quais são as hipóteses que queremos testar e com base nelas, definimos o que será o “A” e o “B”, qual será a segmentação de clientes que vamos usar e como vamos instrumentar os eventos para poder analisar posteriormente. Usamos os cálculos estatísticos para definir o período em que o teste ficará no ar.

Às vezes vai demorar demais para ter relevância estatística. Nesses casos, a gente pode decidir entre cancelar o teste ou seguir com ele, mesmo sabendo que a margem de erro vai ser bem alta. Em alguns casos, podemos pensar melhor sobre a hipótese e reformular ou testar de outra maneira.

Quando o teste A/B é inconclusivo, o que você faz?

Procuro entender por que a hipótese formulada não estava nem tão correta quanto eu esperava (ao ponto de ter vencido) nem tão equivocada (ao ponto de ter perdido). Será que as duas variações são equivalentes? Faz sentido que sejam? Enfim, existem sempre novas investigações que surgem depois de um teste, ainda que inconclusivo.

Vejo que muitos gerentes de produto tem um foco desproporcional em métricas financeiras. Como vocês fazem essa diferenciação entre métricas de negócio e produto?

Aqui na RD, nossas métricas de negócio são as mais comuns de SaaS — MRR (receita recorrente por mês), ARPU (receita média por usuário), Churn, etc.

Já para as métricas de produto, usamos uma adaptação do HEART do Google, que chamamos de Adoption, Retention e Success. Usamos um pouco de Frequency também, em alguns casos.

A partir disso, temos um estudo da correlação entre Adoption + Retention de cada uma das principais features e algumas métricas de negócio. Por exemplo, é possível saber o quanto a adoção e retenção da funcionalidade de Redes Sociais do RD Station (métrica de produto) impacta no churn (métrica de negócio).

Toda funcionalidade tem também o estudo do quanto o Sucesso do Cliente depende da Adoção e Retenção. Para nós, Sucesso é a métrica de Marketing Digital do cliente: visitantes, geração de Leads, taxa de abertura e clique em Email e por aí vai. Então, uma funcionalidade de criação de campanhas de Email deve ajudar o cliente a criar uma boa campanha de Email.

É uma regra para todas as funcionalidades que quanto mais o cliente utiliza, melhor deve ser a métrica de sucesso dele. Nas poucas vezes em que os dados não demonstraram isso, no passado, evoluímos a funcionalidade até ela comprovadamente entregar sucesso.

Legal. Vamos falar sobre os tipos de análise de métricas. Como você usa segmentação para encontrar padrões de comportamento?

Temos alguns dados de perfil das empresas que são nossas clientes: segmento, tipo do negócio (b2b ou b2c), essas coisas. Também temos os eventos de uso do Produto por cliente. É comum segmentar a base por perfil, mas também é comum segmentar só por evento para ver o quanto um evento impacta no outro.

Isso sempre parte de uma pergunta que faça sentido para Marketing Digital (segmento do nosso produto). Por exemplo: depois de publicar uma Landing Page, é uma boa prática divulgá-la nas Redes Sociais. Quantos clientes fazem isso? Quantos não fazem? Nessas duas perguntas, temos segmentos de clientes que podem ser interessantes para uma entrevista.

Essas segmentações também são usadas para Beta de novas funcionalidades, comunicação segmentada de lançamentos etc.

E como você usa análise coorte no seu dia-a-dia?

Eu uso de duas formas: por safra mensal de clientes — ou seja, a entrada do cliente em nossa base — e por safra semanal ou mensal de primeiro uso de uma determinada funcionalidade que eu esteja analisando.

O primeiro caso é para investigar padrões e necessidades do cliente a partir do momento em que ele se torna cliente e acompanhar se esses padrões estão sendo influenciados pelas nossas ações dentro do produto, mês a mês.

O segundo caso é para entender como o cliente reage à primeira vez que utiliza uma funcionalidade, se ele passa a utilizar com frequência, esporadicamente ou se desiste da funcionalidade.

Vi que vocês usam Segment e Mixpanel para taguear o produto. O que você diria para um time que ainda não usa uma ferramenta de product analytics?

A ferramenta é importante, com certeza, mas existem alguns passos que são pré-requisitos. O principal é ter uma certa curiosidade pelo que está acontecendo com o produto. Não vejo como fazer um bom produto sem isso.

As pessoas estão usando? De que jeito? O que elas fazem dentro do produto? Quanto tempo elas passam ali? Existem padrões de comportamento de um cliente prestes a cancelar? E dos “power users”?

Todas essas perguntas são essenciais para evoluir um produto — ou, melhor ainda, para construir um produto que as pessoas usem.

Para conhecer mais sobre o trabalho do Raphael, você pode seguí-lo no LinkedIn e no blog Ship it, ou aqui mesmo no Medium.

Até a próxima!