KPIs de projetos de IA: como medir se o projeto deu certo
Os KPIs de projetos de IA costumam falhar de dois jeitos opostos. No primeiro, o projeto é acompanhado só como qualquer implantação de sistema: prazo, custo e escopo no verde, entrega feita, projeto encerrado. Três meses depois, ninguém usa a ferramenta. No segundo, a equipe técnica apresenta uma taxa de acerto alta em um conjunto de teste, e a diretoria não consegue traduzir aquilo em resultado para a área.
Medir se um projeto de inteligência artificial (IA) deu certo exige olhar quatro coisas ao mesmo tempo: se a entrega aconteceu como planejado, se o sistema acerta o suficiente, se as pessoas passaram a usá-lo e se o processo melhorou em relação ao que era antes. Os passos abaixo mostram como escolher os indicadores de cada camada, com uma ficha pronta para copiar. Os fundamentos de KPI, válidos para qualquer projeto, estão em KPIs de projetos: o que são e quais usar.
Formação relacionada
Gestão de Projetos 360° com PMBOK 8 e IA
Formação completa sobre o guia mais recente do PMI, com uso de inteligência artificial no dia a dia da gestão.
Por que os indicadores tradicionais não bastam
Em um projeto de sistema comum, entregar o escopo no prazo é quase sinônimo de sucesso: a funcionalidade faz o que foi especificado. Em um projeto de IA, a entrega é um comportamento aprendido a partir de dados, e o comportamento pode ser bom no teste e ruim no uso real. Por isso três perguntas ficam sem resposta nos indicadores tradicionais:
- O sistema acerta o suficiente nos casos que importam? Um índice médio esconde erros concentrados no tipo de caso mais caro.
- As pessoas confiam e usam? Se a equipe confere tudo de novo à mão, o ganho desaparece.
- O ganho continua com o tempo? Modelos perdem desempenho quando os dados do mundo real mudam, e o custo de uso de modelos de fornecedores varia.
As quatro camadas de KPIs de projetos de IA
| Camada | Pergunta | Exemplos de indicadores |
|---|---|---|
| Entrega | O projeto andou como planejado? | Prazo e custo por fase, portões de decisão cumpridos, pendências de aceite |
| Desempenho do sistema | O sistema acerta o suficiente? | Precisão e cobertura por classe, taxa de respostas corretas em conjunto de avaliação, taxa de respostas sem fonte, tempo de resposta |
| Adoção | As pessoas usam de verdade? | Percentual de casos que passam pelo sistema, taxa de sugestões aceitas sem alteração, taxa de correção manual |
| Valor | O processo melhorou? | Tempo por caso, retrabalho, custo por transação, volume atendido, satisfação do usuário final |
Uma quinta preocupação aparece depois da entrega, a saúde da operação: queda de desempenho ao longo do tempo, incidentes, custo mensal de uso e reclamações. Ela pode ser tratada como camada própria ou como parte de desempenho e valor.
Métricas de modelos de IA em linguagem de gestão
O gerente de projetos não precisa calcular métricas técnicas, mas precisa entender o que elas dizem para combinar metas com a área:
- Precisão: dos casos que o sistema marcou como "urgente", quantos eram urgentes de fato. Precisão baixa gera alarme falso e trabalho à toa.
- Cobertura (recall): dos casos realmente urgentes, quantos o sistema encontrou. Cobertura baixa deixa passar o que importa.
- Acurácia: percentual geral de acertos. Engana quando uma classe é rara: um sistema que nunca marca nada como urgente pode ter acurácia alta se urgências forem poucas.
Em IA generativa, a medição usual é um conjunto de perguntas de avaliação com respostas esperadas, revisadas por especialistas, e uma revisão humana por amostragem das respostas reais. Os indicadores típicos são a taxa de respostas corretas, a taxa de respostas que citam a fonte certa e a taxa de recusas adequadas (quando o sistema deveria dizer que não sabe).
Como definir os KPIs em 7 passos
Passo 1: parta do objetivo de negócio aprovado
O primeiro indicador vem do problema que justificou o projeto. Se o business case de projeto de IA prometeu reduzir o tempo de análise de documentos, o KPI principal é o tempo por documento. Tudo o mais serve para explicar esse número.
Passo 2: meça a linha de base antes de construir
Sem saber como o processo funciona hoje, não há como provar melhora. Meça por algumas semanas o volume, o tempo, a taxa de erro e o custo do erro. Se o dado não existe, a medição vira a primeira entrega do projeto.
Passo 3: escolha poucos indicadores por camada
Um ou dois por camada são suficientes. Mais do que isso dilui a atenção e gera discussão sobre números que ninguém usa para decidir.
Passo 4: defina o custo de cada tipo de erro
Pergunte à área qual erro dói mais: deixar passar um caso importante ou gerar alarme falso. A resposta define se a meta principal será de precisão ou de cobertura, e evita que a equipe técnica otimize a métrica errada.
Passo 5: estabeleça metas em faixas e um mínimo de continuidade
Para cada indicador, combine um valor mínimo abaixo do qual o projeto não segue, um valor esperado e um valor desejável. O mínimo de desempenho do sistema deve ser o ponto em que o benefício empata com o custo. Esse número vira o critério de saída da prova de conceito em projetos de IA.
Passo 6: preencha uma ficha por indicador
Cada KPI precisa de fórmula, fonte do dado, frequência, dono e meta. Use o modelo da próxima seção.
Passo 7: combine a medição depois da entrega
O valor de um projeto de IA aparece semanas ou meses depois da entrada em uso. Defina no plano quem continua medindo depois do encerramento, por quanto tempo e para quem reporta. Sem isso, o projeto termina sem ninguém confirmar o benefício.
Ficha de indicador para copiar
Nome do indicador: [ex.: tempo médio de triagem por chamado]
Camada: [entrega / desempenho / adoção / valor]
Pergunta que responde: [o sistema reduziu o tempo de triagem?]
Fórmula: [soma dos minutos de triagem / número de chamados triados]
Fonte do dado: [registro de data e hora no sistema de chamados]
Linha de base: [valor medido antes do projeto, com período]
Mínimo para seguir / esperado / desejável: [faixas]
Frequência de medição: [semanal no piloto, mensal na operação]
Dono do indicador: [pessoa da área de negócio]
Decisão que o indicador dispara: [ex.: abaixo do mínimo por 2 meses, revisar o modelo]
A última linha é a que mais falta. Um indicador que não muda nenhuma decisão é só um número no painel.
Exemplo ilustrativo: triagem de chamados de TI
Uma equipe de suporte interno quer usar IA para classificar chamados nas filas corretas. Os números abaixo são ilustrativos.
| Camada | Indicador | Linha de base | Meta mínima | Meta esperada |
|---|---|---|---|---|
| Entrega | Piloto em produção na data combinada | Não se aplica | Até 30 dias de atraso | Na data |
| Desempenho | Cobertura dos chamados críticos | Não se aplica | 90% | 95% |
| Desempenho | Precisão geral da fila sugerida | Não se aplica | 75% | 85% |
| Adoção | Sugestões aceitas sem alteração | Não se aplica | 60% | 75% |
| Valor | Tempo médio até o chamado chegar à fila certa | 4 horas | 2 horas | 1 hora |
Repare que a meta de cobertura dos críticos é mais alta do que a de precisão geral: errar a fila de um chamado comum custa pouco, deixar um chamado crítico parado custa muito. Repare também que o indicador de valor é o único que a diretoria precisa ver todo mês. Os demais explicam por que ele está bom ou ruim.
Erros comuns na medição de projetos de IA
- Medir só a acurácia do modelo. Ela não diz se o processo melhorou.
- Contar uso como valor. Número de consultas ao assistente mostra atividade, não resultado.
- Não ter linha de base. Sem ela, qualquer melhora é opinião.
- Medir no conjunto de teste e nunca no uso real. Os dados de produção mudam; o desempenho também.
- Esquecer o custo de operação. O custo mensal de uso e de revisão humana precisa entrar na conta do valor.
- Encerrar o projeto antes de o benefício aparecer. Combine a medição pós-entrega no plano, com dono.
Comece pela linha de base
Antes da próxima reunião de planejamento, escreva o objetivo do projeto em uma frase, escolha o indicador de valor que prova esse objetivo e meça a situação atual por duas semanas. Com isso, as metas das outras camadas saem com muito mais facilidade. Para ver como os indicadores se encaixam em todo o ciclo de uso da IA nos projetos, consulte o guia de inteligência artificial na gestão de projetos. Se quiser estruturar essa medição com método, o curso de gestão de projetos com PMBOK 8 e IA da Projeto Diário trabalha indicadores, benefícios e uso responsável de IA ao longo de todo o projeto.
