Prova de conceito em projetos de IA: como planejar o piloto

A prova de conceito em projetos de IA existe para responder uma pergunta antes de gastar o orçamento inteiro: com os nossos dados, a inteligência artificial (IA) consegue resolver este problema com a qualidade de que precisamos? Parece simples, mas muitas provas de conceito terminam sem resposta. A equipe faz uma demonstração bonita com dez exemplos escolhidos, todos gostam, ninguém sabe dizer se o resultado é suficiente, e o experimento vira um projeto sem que a decisão tenha sido tomada.

O antídoto é planejar a prova de conceito como uma etapa com começo, fim e critério de decisão escritos antes de qualquer linha de código. Os passos abaixo mostram como fazer isso e como emendar a prova de conceito em um piloto com usuários reais. A posição dessa etapa no ciclo completo está em gerenciamento de projetos de IA.

PoC, piloto e MVP: qual é qual

Os três termos aparecem misturados em reuniões, e a confusão gera expectativas erradas. A diferença está na pergunta que cada etapa responde.

Em muitos projetos internos, o piloto já funciona como MVP. O importante é não pular a prova de conceito quando a incerteza principal é técnica, nem pular o piloto quando a incerteza principal é de adoção.

Como planejar a prova de conceito em 8 passos

Passo 1: escreva a hipótese em uma frase

A hipótese diz o que será testado, com quais dados e para qual uso. Exemplo: "com os contratos digitalizados dos últimos três anos, um modelo de IA generativa consegue extrair data de vigência, valor e índice de reajuste com qualidade suficiente para dispensar a digitação manual, mantendo revisão humana nos casos de baixa confiança".

Se a frase não cabe em uma linha, a prova de conceito está grande demais.

Passo 2: defina critérios de sucesso e de parada antes de começar

Escreva, e peça ao patrocinador para aprovar, três números:

• Mínimo para seguir: abaixo disso, o projeto para ou muda de abordagem.
• Esperado: o desempenho que sustenta o benefício previsto.
• Limite de esforço: o prazo e o custo máximos da etapa.

O mínimo para seguir deve sair da conta do business case de projeto de IA: é o desempenho em que o benefício empata com o custo. Os princípios gerais para escrever critérios mensuráveis estão em como definir os critérios de sucesso do projeto.

Passo 3: corte o escopo até o essencial

Um tipo de documento, uma área, um idioma, um processo. Exemplos de cortes úteis: só contratos de serviços, não de obras; só chamados de uma unidade; só a pergunta mais frequente do atendimento. O que fica de fora vai para uma lista registrada, para não voltar pela porta dos fundos.

Passo 4: separe um conjunto de avaliação antes de construir

Monte com o especialista de negócio uma amostra representativa de casos reais, com a resposta correta de cada um, e guarde-a separada do material usado para construir a solução. Inclua casos difíceis, casos raros e, em IA generativa, perguntas que o sistema deveria se recusar a responder. Se a equipe ajustar a solução olhando para essa amostra, o resultado final perde valor.

Passo 5: defina a comparação

A pergunta não é só "a IA acerta quanto?", mas "acerta mais do que a alternativa?". Compare com a forma atual de trabalho e com uma alternativa simples, como uma regra fixa ou uma busca por palavra-chave. Se a regra simples chega perto, talvez ela seja a primeira entrega.

Passo 6: feche prazo, equipe e orçamento

Use uma janela de tempo fechada, curta o suficiente para que parar não seja um prejuízo grande. Reserve as horas do especialista de negócio e o acesso aos dados antes de começar: são os dois motivos mais comuns de atraso. Se houver custo por uso de modelo de fornecedor, estime-o com o volume da amostra e registre a data da tabela de preços consultada.

Passo 7: execute registrando cada tentativa

Cada variação testada (outro modelo, outra instrução, outro tratamento dos dados) entra em um registro com data, o que mudou e o resultado no conjunto de avaliação. O registro evita a sensação de que "melhorou" sem saber por quê e alimenta o relatório final.

Passo 8: termine com relatório de uma página e decisão

Hipótese testada: [frase do passo 1]
Escopo coberto e escopo excluído: [lista]
Resultado no conjunto de avaliação: [por critério, com mínimo e esperado]
Comparação com a alternativa simples: [resultado]
Principais tipos de erro e o custo de cada um: [exemplos reais]
O que aprendemos sobre os dados: [qualidade, lacunas, permissões]
Custo e prazo realizados: [contra o limite aprovado]
Recomendação: [seguir para piloto / ajustar e repetir / parar]
Decisão do patrocinador: [registrada na reunião de portão]

A reunião de portão precisa terminar com uma das três decisões. "Vamos estender mais um pouco" sem novo critério é a forma mais comum de uma prova de conceito virar projeto sem aprovação.

Do teste ao piloto: o que muda no plano

Aprovada a prova de conceito, o piloto responde a perguntas diferentes, e o plano muda junto:

• Usuários reais, em escala limitada. Uma equipe, uma unidade, uma parte do volume.
• Operação em paralelo. Nas primeiras semanas, o processo antigo continua, e as saídas da IA são conferidas. Isso protege a operação e gera dados de comparação.
• Indicadores de adoção e valor. Percentual de casos que passam pelo sistema, sugestões aceitas sem alteração, tempo por caso contra a linha de base. A escolha desses indicadores está em KPIs de projetos de IA.
• Critério de expansão. Como na PoC, escreva antes o resultado mínimo para levar a solução ao restante da organização.
• Plano de volta atrás. Defina como desligar a solução se algo der errado, sem perder o trabalho do dia.

Exemplo ilustrativo: extração de dados de contratos

Uma secretaria de administração quer reduzir o tempo de cadastro de contratos de fornecedores no sistema de gestão. A equipe planeja a prova de conceito assim (dados ilustrativos):

• Hipótese: extrair vigência, valor e índice de reajuste de contratos de serviços digitalizados.
• Escopo excluído: contratos de obras, aditivos e documentos manuscritos.
• Conjunto de avaliação: 150 contratos escolhidos pelo setor de contratos, com os campos corretos preenchidos por duas pessoas.
• Mínimo para seguir: acerto de 90% em cada campo, com indicação de baixa confiança nos demais.
• Comparação: digitação manual atual e busca por padrões de texto.
• Prazo: seis semanas, com portão marcado no calendário do secretário.

No resultado, valor e vigência passam do mínimo; índice de reajuste não passa, porque aparece escrito de muitas formas diferentes. A decisão registrada: seguir para piloto com dois campos e manter o terceiro manual. Esse é um bom resultado, mesmo sem ser o resultado completo.

Erros comuns na prova de conceito em projetos de IA

• Demonstrar com casos escolhidos a dedo em vez de um conjunto de avaliação montado antes.
• Definir o critério de sucesso depois de ver o resultado.
• Deixar o escopo crescer durante o teste.
• Usar dados sintéticos ou de exemplo quando a dúvida é sobre os dados reais.
• Não reservar tempo do especialista de negócio.
• Terminar sem decisão formal, emendando a PoC em um projeto sem aprovação.

Planeje a sua prova de conceito

Escreva a hipótese em uma frase, combine com o patrocinador o mínimo para seguir e marque a data do portão antes de chamar a equipe técnica. Com isso, qualquer resultado da prova de conceito será útil. O papel dessa etapa dentro da estratégia de adoção de IA está no guia de inteligência artificial na gestão de projetos, e o curso de gestão de projetos com PMBOK 8 e IA da Projeto Diário aprofunda como conduzir projetos com essa incerteza do começo ao fim.