Antes de começar
- Acesso a três assistentes de sua escolha
- Uma página oficial que contenha respostas verificáveis
Escolha uma pergunta que tenha resposta conferível
Use um caso simples, como horário de um serviço, condição de um plano ou data de um anúncio. Abra a fonte oficial e confirme a resposta você mesmo antes do teste. Evite começar com opinião ou previsão, porque não há um gabarito factual único. Registre a data e o trecho que sustentam a resposta.
Mantenha as condições comparáveis
Abra conversas novas e registre serviço, modelo mostrado, plano, data e se a busca na web estava habilitada. Use o mesmo texto e os mesmos anexos. Se um assistente não conseguir abrir links, forneça o mesmo trecho da fonte a todos e anote essa mudança. Não confunda diferença de ferramenta disponível com diferença de raciocínio.
Rode o roteiro de perguntas
Comece por uma pergunta direta. Depois peça a evidência e uma resposta para uma lacuna que a página não cobre. A capacidade de dizer “não informado” conta mais do que completar o campo por palpite. Não inclua dados pessoais no exercício.
Fonte: [URL oficial e/ou trecho idêntico para todos]
1. Qual [informação específica] esta fonte informa? Responda em até 60 palavras.
2. Indique a seção ou trecho que sustenta a resposta.
3. A fonte informa [detalhe que pode estar ausente]? Se não, diga que não encontrou.
4. Separe o que veio da fonte de qualquer inferência sua.Confira cada afirmação na origem
Abra os links citados e veja se existem e se apoiam a frase. Confira datas, nomes e condições. Uma resposta pode acertar o número e errar a unidade, ou citar uma página que trata de outro plano. Se a fonte não responder à pergunta, marque como não verificável em vez de escolher a resposta mais bem escrita.
Preencha uma tabela de erros e acertos
Use critérios separados para precisão, fonte e clareza. Não some notas arbitrárias para fingir uma avaliação científica. Três respostas em um teste não representam todo o desempenho de um modelo. A tabela serve para decidir qual ferramenta ajuda naquela tarefa e qual revisão continua necessária.
Assistente/modelo | Data | Busca habilitada? | Fato correto? | Fonte sustenta? | Reconheceu lacuna? | Correção necessária
A | [data] | sim/não | sim/parcial/não | sim/não | sim/não | [descrição]
B | [data] | sim/não | sim/parcial/não | sim/não | sim/não | [descrição]
C | [data] | sim/não | sim/parcial/não | sim/não | sim/não | [descrição]Escreva uma conclusão limitada ao teste
Conclua com a tarefa, as condições e o erro mais relevante encontrado. Exemplo: “Nesta consulta, A identificou a informação ausente; B completou sem fonte; C não abriu a página.” Repita em outro dia ou com outra tarefa se precisar escolher uma ferramenta para uso recorrente. Não publique um ranking universal a partir de uma pergunta.
O que você terá ao final
Uma comparação documentada de três respostas, com fontes abertas e limites do teste explícitos.
Vale conferir
- Assistentes podem concordar e estar errados. A referência é a evidência, não a votação.
- Modelos, acesso à busca e limites mudam; registre as condições do teste.
- O roteiro é editorial e não constitui benchmark científico.