Uma resposta convincente em uma apresentação não diz como a IA se comportará diante de documentos incompletos, perguntas ambíguas e exceções do trabalho diário. Avaliar antes de publicar significa transformar o caso de uso em tarefas observáveis e registrar, antes do teste, o que seria uma resposta útil, uma recusa correta e um erro perigoso.

Comece pelo trabalho, não pela nota do modelo

Descreva uma tarefa concreta: “localizar a cláusula vigente e indicar sua fonte” é avaliável; “melhorar a produtividade jurídica” é uma intenção ampla. Reúna exemplos autorizados que representem o fluxo normal, casos difíceis e situações em que o sistema deve dizer que não sabe. Retire dados pessoais ou sigilosos quando não forem necessários ao teste.

O conjunto de avaliação deve ter um responsável de negócio e uma versão. Se a política, o catálogo ou a regra mudarem, o gabarito também precisa mudar. Um acerto contra documento vencido é um falso sinal de qualidade.

Separe tipos de erro

  • Fidelidade: a resposta está sustentada pelas fontes disponíveis?
  • Completude: ela contém os passos necessários para executar a tarefa?
  • Segurança: respeita permissões, limites de ação e dados sensíveis?
  • Operação: tempo de resposta e custo cabem no fluxo real?

Não reduza tudo a uma média. Uma resposta incompleta pode ser corrigida pelo usuário; uma instrução inventada para liberar pagamento exige tratamento diferente. Defina critérios por gravidade e mantenha exemplos de falha para regressão.

Teste com pessoas e com uma alternativa simples

Compare a IA ao processo atual: busca tradicional, regra de negócio ou trabalho humano assistido. Peça aos usuários que executem a tarefa sem receber a “resposta certa” de antemão. Registre quando corrigem, ignoram ou repetem a saída. A revisão humana é uma etapa do desenho, com tempo e responsabilidade próprios, não um rodapé no plano.

Uma liberação inicial pode limitar usuários, documentos e tipos de ação. Depois, acompanhe falhas e inclua novos exemplos no conjunto de avaliação. O AI RMF do NIST trata medição e gestão de risco como atividades contínuas; essa é uma referência útil para estruturar o processo, não um selo automático de aprovação.

Na frente de Inteligência Artificial, a primeira conversa pode começar com três itens: tarefa, exemplos reais autorizados e consequência do erro. Isso permite decidir se há um caso de IA, qual teste fazer e quem aprova a entrada em produção.

Perguntas frequentes

Quantos exemplos preciso para começar?

Depende da variedade e do risco da tarefa. Comece com exemplos reais de casos comuns, exceções e recusas; amplie quando encontrar falhas novas. Um número grande de exemplos repetidos não substitui cobertura dos cenários relevantes.

Uma nota alta em benchmark público basta?

Não. Benchmarks gerais ajudam a conhecer capacidades, mas a decisão de publicar depende dos dados, das permissões e das tarefas da sua operação.