KPIs de projetos digitais: métricas de entrega e de produto
Escolher KPIs de projetos digitais é mais difícil do que parece, porque um projeto digital pode dar errado de dois jeitos diferentes. Pode atrasar, estourar o orçamento e entregar com falhas, o que os indicadores clássicos de projeto mostram bem. Ou pode ser entregue no prazo, no custo e sem defeitos, e mesmo assim ninguém usar o que foi construído. Os indicadores clássicos não enxergam esse segundo fracasso.
Por isso, um bom conjunto de indicadores para projeto digital tem três camadas: a entrega (o projeto está andando como combinado?), a engenharia (estamos entregando com qualidade e estabilidade?) e o resultado do produto (o que entregamos está gerando o efeito esperado?). Abaixo estão os indicadores de cada camada, com fórmula e uso, e um exemplo de painel.
Formação relacionada
Gestão de Produto: CPM-F e CPM-E
Noventa videoaulas sobre descoberta, métricas, ciclo de vida e priorização. Os dois exames da PMCert inclusos.
O que é KPI e o que não é
KPI é a sigla de key performance indicator, em português indicador-chave de desempenho. A palavra "chave" importa: um KPI é um dos poucos indicadores escolhidos porque mostram se o objetivo está sendo alcançado. Todo KPI é uma métrica, mas nem toda métrica é KPI. O número de linhas de código, o total de tarefas fechadas e as visualizações da página de lançamento são métricas; raramente são KPIs.
Um KPI útil tem quatro elementos: fórmula clara, fonte de dados confiável, meta ou faixa de referência e frequência de acompanhamento. Sem meta, o número vira curiosidade. Os conceitos gerais de indicadores em projetos de qualquer tipo estão em KPIs de projetos: o que são e quais usar. Aqui o foco é o que muda quando o projeto é digital.
Camada 1: KPIs de entrega
São os indicadores que respondem à pergunta do patrocinador: vamos entregar o combinado, quando e por quanto?
| KPI | Fórmula | Quando usar |
|---|---|---|
| Previsibilidade | Itens ou objetivos entregues no ciclo / itens comprometidos no ciclo | Times que planejam por Sprint ou trimestre |
| Tempo de ciclo (lead time) | Data de entrega em produção menos data de início do item | Qualquer time; mostra a fluidez do trabalho |
| Vazão (throughput) | Itens concluídos por semana ou por Sprint | Para projetar datas com base no histórico |
| Desvio de prazo dos marcos | Data real menos data planejada de cada marco | Projetos com datas contratuais ou de lançamento |
| Índice de desempenho de custo (CPI) | Valor agregado / custo real | Projetos com orçamento controlado e escopo bem definido |
| Variação de escopo | Itens adicionados ou removidos depois do compromisso / itens comprometidos | Para mostrar ao patrocinador o efeito das mudanças |
Duas observações. O percentual concluído, tão comum em relatórios, quase não ajuda em software: o projeto passa semanas "em 90%". Tempo de ciclo e vazão contam uma história mais honesta. E o CPI, do gerenciamento do valor agregado, faz sentido em projetos digitais com escopo e orçamento fechados, como implantações contratadas, e pouco sentido em times de produto com backlog contínuo.
Camada 2: KPIs de engenharia
Mostram se o time entrega com estabilidade, o que afeta diretamente a capacidade de cumprir os KPIs de entrega no futuro. A referência mais usada são as métricas de desempenho de entrega de software do programa de pesquisa DORA, que hoje são cinco:
- Tempo de entrega da mudança (change lead time): tempo entre o registro de uma alteração no controle de versão e sua implantação em produção.
- Frequência de implantação: com que frequência o time coloca mudanças em produção.
- Tempo de recuperação de implantação com falha: quanto tempo leva para recuperar o serviço depois de uma implantação que exigiu intervenção imediata.
- Taxa de falha de mudanças: proporção de implantações que exigem correção imediata, como reversão ou correção urgente.
- Taxa de retrabalho de implantação: proporção de implantações não planejadas, feitas por causa de um incidente em produção.
As três primeiras medem a vazão e as duas últimas a instabilidade. Juntas, evitam que o time acelere à custa de quebrar o produto. Complementos úteis: defeitos encontrados em produção por versão e disponibilidade do serviço, quando há acordo de nível de serviço com clientes.
Camada 3: KPIs de resultado do produto
São os que mostram se o projeto valeu a pena. Dependem do objetivo de cada iniciativa, e por isso precisam ser definidos antes do início, no business case ou no termo de abertura.
| KPI | O que mostra | Exemplo de fórmula |
|---|---|---|
| Adoção | Quantos usuários passaram a usar o que foi entregue | Usuários que usaram a funcionalidade no mês / usuários ativos no mês |
| Ativação | Se o novo usuário chega ao primeiro valor | Novos usuários que completaram a ação-chave em 7 dias / novos usuários |
| Retenção | Se o uso se mantém | Usuários ativos no mês 3 / usuários que começaram no mês 1 |
| Conversão | Se a jornada gera o resultado de negócio | Compras concluídas / sessões que chegaram ao carrinho |
| Custo de atendimento | Se o projeto reduziu demanda operacional | Chamados por mil usuários ativos |
| Receita atribuída | Retorno financeiro da entrega | Receita do recurso ou do segmento afetado no período |
A escolha entre esses indicadores e a forma de evitar números que impressionam mas não ajudam a decidir estão em métricas que todo gerente de produto deve dominar.
Exemplo de painel: projeto de novo checkout de uma loja virtual
O exemplo é ilustrativo. Uma loja virtual fictícia conduz um projeto de quatro meses para refazer o checkout, com o objetivo de reduzir o abandono de carrinho. O painel semanal do projeto tem sete indicadores:
Entrega
- Previsibilidade das Sprints (meta: acima de 80% dos itens comprometidos entregues).
- Desvio de prazo do marco "checkout em produção para 10% dos clientes".
- Variação de escopo desde o planejamento inicial.
Engenharia 4. Taxa de falha de mudanças no serviço de checkout. 5. Tempo de recuperação de implantação com falha.
Resultado 6. Taxa de conversão do carrinho para pedido, comparando o checkout novo com o antigo no período de convivência dos dois. 7. Chamados no atendimento relacionados a pagamento, por mil pedidos.
As metas de entrega são definidas pelo time com o patrocinador; as de resultado vêm do business case. Repare que o painel inclui uma comparação entre o checkout antigo e o novo: sem um ponto de referência, a conversão do novo checkout não diz nada sozinha.
Como escolher os KPIs do seu projeto
- Comece pelo objetivo do projeto. Qual mudança no negócio ou no comportamento do usuário justifica o investimento? Esse é o KPI de resultado principal.
- Escolha de dois a três KPIs de entrega que o patrocinador entenda e que o time consiga medir sem esforço manual.
- Inclua pelo menos um KPI de estabilidade técnica, para que a pressão por prazo não esconda a degradação do produto.
- Defina meta, fonte e frequência para cada um antes do início.
- Misture indicadores de tendência e de resultado. A conversão só aparece depois do lançamento; a previsibilidade das Sprints avisa antes se o lançamento está em risco.
- Revise o conjunto a cada fase. Depois do lançamento, os KPIs de entrega perdem peso e os de resultado ganham.
Em empresas com muitos projetos digitais, o PMO costuma consolidar esses indicadores numa visão de carteira, como descrito em PMO em empresa de produto.
Erros comuns com KPIs de projetos digitais
- Medir só a entrega. O projeto é declarado um sucesso no dia do lançamento, e ninguém volta para ver se o resultado veio.
- Usar velocidade para comparar times. Pontos de estimativa são relativos a cada equipe e viram meta a ser inflada.
- Escolher KPIs que ninguém consegue medir. Se o dado exige uma planilha montada à mão toda semana, o indicador morre em um mês.
- Indicadores sem dono. Cada KPI precisa de alguém que explique o número e proponha ação quando ele sai da faixa.
Monte o painel do seu projeto
Liste o objetivo do projeto, escolha um KPI de resultado, dois ou três de entrega e um de engenharia, e defina meta, fonte e frequência para cada um. Depois, transforme a lista num painel que o patrocinador consiga ler em dois minutos. O curso Dashboard aplicado a projetos ensina a montar esse painel com os dados que você já tem, e o papel de quem responde pelos indicadores de resultado está em o que faz um gerente de produto.
