3.6.3 · Montando um dataset de avaliação

Quantos casos

Não há número mágico, mas há ordens de grandeza úteis:

A regra por trás da tabela: quanto mais barata a nota, mais casos você deve ter. Se a nota é saida == esperado, não há motivo para parar em cinquenta.

Os quatro casos de borda que faltam em todo dataset

A última linha merece atenção. Quando dois analistas experientes discordam de um caso, o problema não é do prompt. É de definição de tarefa, e nenhum ajuste de prompt resolve. Encontrar esses casos cedo é uma das coisas mais valiosas que a montagem do dataset produz.

Estrutura do arquivo

# dataset_triagem_v3.jsonl — uma linha por caso
{"id": "T-0001", "ticket": "Não consigo liberar o pedido 4500012345...", "esperado": "MM", "tipo": "tipico"}
{"id": "T-0002", "ticket": "não funciona", "esperado": "OUTRO", "tipo": "borda_vazio"}
{"id": "T-0003", "ticket": "Não consigo faturar o pedido bloqueado...", "esperado": "SD", "tipo": "borda_ambiguo"}

O campo tipo não entra na nota — ele existe para você conseguir ler o resultado por fatia. É o que permite dizer "acerta 91% nos típicos e 43% nos ambíguos" em vez de só "acerta 78%".

import json

def carregar(caminho):
    with open(caminho, encoding="utf-8") as f:
        return [json.loads(linha) for linha in f if linha.strip()]

casos = carregar("dataset_triagem_v3.jsonl")
print(f"{len(casos)} casos")
for tipo in sorted({c['tipo'] for c in casos}):
    print(f"  {tipo}: {sum(1 for c in casos if c['tipo'] == tipo)}")

De onde vem o dataset: duas fontes, duas regras

Antes da anonimização, uma decisão que vem primeiro — de onde o dataset sai. São dois casos, e eles têm regras diferentes:

Para praticar o que esta aula ensina, use a instância. Ela existe para isso, e o problema de governança desaparece.

Mas há uma ressalva metodológica que você precisa carregar, e ela é o motivo de a segunda linha existir: dado de simulação é, por construção, mais limpo que a realidade. Chamado de AMS real é escrito com pressa, tem informação faltando, mistura dois assuntos, contradiz o título. É justamente essa bagunça que faz a avaliação valer — foi ela que produziu a fatia "ambíguos" da aula 3.6.5, onde o prompt acertava 31%.

Um prompt que acerta 95% num dataset fictício pode acertar 60% em chamado real, e a avaliação não teria avisado. Por isso: aprenda na instância, valide no real.

Anonimização — não é opcional

Isto vale para a segunda linha da tabela acima: dataset construído a partir de histórico de cliente.

Chamado de AMS carrega nome, e-mail corporativo, às vezes valor de pedido e nome de fornecedor. Um dataset é, por definição, esse conteúdo guardado e reutilizado, o que o coloca direto dentro da política de dados da aula 1.1.4.

O marcador precisa ser estável dentro do caso: se o mesmo usuário aparece três vezes no chamado, as três viram USUARIO_01. Trocar por marcadores diferentes destrói a coerência do texto e altera a tarefa.

Regra Wayon Dataset de exercício sai da instância SAP da Wayon — dado fictício, uso livre. É o caminho padrão para praticar. Dataset construído a partir de dado de cliente é anonimizado antes de ser gravado, nunca depois, e respeita o limite de 5 titulares reais da política de dados (aula 1.1.4). Ele vive no repositório do projeto, versionado, e não sai dele — não vai para notebook pessoal, não vai para pasta compartilhada fora do projeto, não vai anexo de e-mail. E o inverso também é regra: dado de cliente não entra na instância de simulação para "testar com dado de verdade" (aula 3.9.3).

📖 Criar avaliações empíricas · Política de dados — aula 1.1.4