Seleção de modelos
Um modelo é útil quando suas entradas, saídas e seu comportamento correspondem ao que você precisa. Comece pela tarefa, compare as opções disponíveis na Chutes e teste uma instrução curta antes de adotar um fluxo de trabalho mais longo.
Tarefas diferentes exigem pontos fortes diferentes. Estes pontos de partida ajudam você a decidir o que analisar e testar.
Você precisa de um modelo que siga a descrição de um personagem ao longo de várias respostas, não apenas em uma abertura convincente.
Teste a consistência, o tom e o respeito às instruções. Para começar com foco em conversas, veja o chat do chutes.
Você está comparando respostas a uma pergunta com restrições específicas e uma resposta que pode verificar.
Dê a mesma instrução a cada modelo candidato e avalie a precisão antes de julgar o estilo. Se uma solicitação não retornar uma resposta, use o guia de solução de problemas.
Você quer entender se uma resposta peculiar reflete o comportamento do modelo ou a sua instrução.
Repita uma instrução controlada e compare as respostas sem tratar uma única amostra como prova de origem.
Você precisa de um formato reproduzível que outra pessoa possa ler ou processar sem muita preparação.
Verifique se o modelo segue a estrutura solicitada em vários testes e depois compare como ele lida com correções posteriores.
Uma comparação útil muda o modelo, mas mantém constantes a tarefa e os critérios de avaliação.
Estas imagens ilustram o fluxo de trabalho; não são uma comparação lado a lado verificada das respostas de dois modelos identificados. Compare as respostas reais usando o mesmo prompt no seu próprio teste.
Escolha um candidatoAnalise a resposta deleFaça um teste pequeno e reproduzível em vez de decidir apenas pelo nome do modelo.
Anote a entrada que você fornecerá, a saída de que precisa e um critério claro de sucesso. Um resumo, uma resposta de interpretação de personagem e uma extração estruturada exigem testes diferentes.
Consulte a listagem atual de modelos da Chutes para verificar os tipos de entrada aceitos e as restrições informadas. A disponibilidade e os recursos podem mudar, então confira a listagem em vez de se basear em um exemplo antigo.
Experimente uma solicitação curta e representativa com cada candidato. Mantenha as instruções, o contexto e os critérios de avaliação iguais para facilitar a comparação das respostas.
Verifique as afirmações factuais de forma independente, confira o formato solicitado e repita o teste com um segundo exemplo. Escolha o modelo que funcione de forma confiável para sua tarefa, não apenas o que der a primeira resposta mais bem redigida.
Escolher entre os modelos do chutes não elimina as limitações inerentes a um modelo nem garante um resultado confiável.
Um texto fluente não comprova que uma afirmação, citação ou cálculo esteja correto.
O que fazer em vez disso
Confira afirmações importantes em fontes independentes e teste os cálculos separadamente.
Uma única resposta pode ser excepcionalmente boa ou ruim, especialmente quando a solicitação é ambígua.
O que fazer em vez disso
Use vários exemplos baseados no trabalho que você realmente pretende fazer.
Um modelo mencionado em um guia antigo pode estar indisponível ou se comportar de maneira diferente quando você acessá-lo.
O que fazer em vez disso
Confirme a lista atual e os tipos de entrada aceitos antes de criar um fluxo de trabalho reproduzível.
Ele não pode verificar como um determinado prompt é processado ou armazenado por um serviço separado.
O que fazer em vez disso
Evite enviar material sensível, a menos que você tenha consultado a documentação do serviço aplicável.
A resposta que parece mais convincente nem sempre é a mais útil. Avalie-a de acordo com o formato e as restrições da tarefa real.
Entrada
Etapa 1
Para tarefas de redação, inclua o tom, o público-alvo e o tamanho que você pretende usar. Para extração, inclua uma amostra realista e especifique os campos necessários. Só é possível comparar Chutes de forma significativa quando o teste se assemelha ao trabalho que virá depois.
Saída
Etapa 2
Leia além da frase inicial. Procure requisitos não atendidos, afirmações sem respaldo e formatação indesejada, e verifique se uma correção melhora a resposta seguinte. Registre o que observar, em vez de presumir que o nome do modelo prevê o resultado.
A escolha do modelo está ligada ao comportamento na conversa, aos padrões de resposta e à solução de problemas na prática.
Use o mesmo método de seleção, com critérios de sucesso diferentes para cada tipo de tarefa.
Redação
Dê a cada candidato um resumo breve e depois peça uma revisão específica. Compare se cada um preserva os fatos necessários e adapta o tom sem introduzir afirmações que você não forneceu.
Pesquisa
Faça uma pergunta cuja resposta você possa verificar. Uma explicação confiante só é útil se suas afirmações resistirem à verificação; não trate citações ou uma aparente certeza como validação.
Tarefas estruturadas
Forneça os campos esperados e uma entrada realista. Compare valores ausentes, texto extra e o comportamento em um segundo exemplo antes de depender da saída em um processo posterior.
Use um prompt curto, defina como deve ser uma boa resposta e compare as opções disponíveis com esse padrão. Não inclua informações sensíveis no teste, a menos que você tenha verificado como o serviço lida com elas.
Comece pelo tipo de trabalho que você precisa realizar e examine as opções disponíveis no momento. Confira os tipos de entrada e as capacidades declaradas de cada candidato e, depois, teste-o com um prompt representativo da sua tarefa.
Dê o mesmo prompt aos dois e avalie as respostas com os mesmos critérios. Repita o teste com outro exemplo antes de decidir, pois uma única resposta pode não refletir o comportamento habitual do modelo.
O nome pode ajudar a identificar uma opção, mas não garante a precisão dela na sua tarefa específica. Compare respostas reais e verifique de forma independente qualquer informação que possa ter consequências importantes.
Não sem conferir a listagem atual da Chutes. A disponibilidade e as capacidades oferecidas podem mudar, então confirme que a opção ainda está presente antes de planejar um fluxo de trabalho com ela.
Torne as instruções mais específicas, reduza as ambiguidades e tente novamente com vários exemplos representativos. Se os resultados continuarem pouco confiáveis, compare outro modelo disponível em vez de presumir que um único ajuste no prompt resolverá o problema.