Anúncios e rankings dizem que um modelo é melhor em raciocínio, outro em texto, outro em código. O que importa é como eles se saem no que você faz: responder clientes, resumir contratos, escrever descrições de produto. Um teste próprio responde isso em uma tarde.
Passo 1: escolha as tarefas
Reúna de 10 a 20 pedidos reais, de dificuldades variadas:
- Tarefas fáceis, que qualquer modelo deveria acertar. Elas mostram quem erra o básico.
- Tarefas médias, que são o grosso do seu uso.
- Algumas difíceis, com ambiguidade ou várias etapas.
- Pelo menos uma pegadinha, como pedir um dado que não existe, para ver se o modelo inventa. Para entender esse risco, veja alucinação de IA.
Retire dos textos qualquer dado pessoal ou confidencial antes de enviar a qualquer serviço.
Passo 2: mantenha as condições iguais
Use o mesmo texto de pedido em todos os modelos, sem ajustar o prompt para um deles. Abra uma conversa nova a cada tarefa, para que o histórico não influencie. Se o serviço tiver opções como temperatura, deixe no padrão ou igual entre eles. Anote o nome e a versão de cada modelo e a data do teste.
Passo 3: defina critérios antes de ler as respostas
Critérios definidos depois tendem a favorecer a resposta de que você gostou primeiro. Uma lista simples:
- Correção: os fatos e os cálculos estão certos?
- Cumpriu o pedido: respeitou formato, tamanho e tom?
- Clareza: dá para usar quase sem editar?
- Honestidade: admite quando não sabe?
Dê notas de 0 a 3 por critério. Se possível, peça a outra pessoa para avaliar sem saber qual modelo escreveu cada resposta.
Passo 4: some e olhe além da nota
Some as notas, mas olhe também para os erros graves. Um modelo com média alta que inventa uma informação perigosa uma vez em cada dez pode ser pior para o seu caso que outro mais discreto.
Considere ainda os fatores que o teste não mede: preço, limite de uso, velocidade, privacidade dos dados e integração com as ferramentas que você usa. O artigo sobre privacidade nas conversas com IA ajuda na parte dos dados.
Quando repetir
Modelos são atualizados com frequência, e mudanças podem melhorar ou piorar o desempenho em tarefas específicas. Refaça o teste quando trocar de serviço, quando o preço mudar ou quando perceber queda de qualidade no uso diário.