Comparação de fluxos de trabalho
Chutes e Janitor AI não são serviços de chat intercambiáveis: Chutes pode fornecer inferência de modelos, enquanto Janitor AI oferece uma interface de chat com personagens. Compare o fluxo de trabalho completo antes de decidir se vai usar um deles ou conectar os dois.
Essas opções atendem a necessidades diferentes. Compare um fluxo de trabalho direto com modelos a um fluxo de chat com personagens e, depois, considere se vale a pena configurá-los para uso conjunto.
Escolha esta opção quando a seleção do modelo for mais importante do que os recursos de chat com personagens.
Funciona bem
Pontos de atenção
Escolha esta opção quando a conversa com personagens for a principal atividade.
Funciona bem
Pontos de atenção
Escolha esta opção se quiser usar a interface do Janitor AI com um modelo adequado da Chutes.
Funciona bem
Pontos de atenção
Considere o custo total como algo além do valor monetário. A comparação abaixo inclui configuração, manutenção e o esforço necessário para entender uma resposta insatisfatória; os preços e limites atuais devem ser verificados na fonte.
| Chutes diretamente | Janitor AI com uma conexão com o modelo | |
|---|---|---|
| Objetivo principal | Acessar a inferência do modelo | Conduzir uma conversa com um personagem usando um modelo selecionado |
| Escolha do modelo | Depende dos modelos disponíveis pela Chutes | Depende do modelo ou provedor configurado para a conversa |
| Configuração do personagem | Você mesmo fornece o contexto da conversa | A configuração do personagem faz parte da interface |
| Esforço inicial | Escolha um modelo e teste um prompt | Configure um personagem e, se necessário, uma conexão com um modelo |
| Verificações contínuas | Monitore a disponibilidade do modelo e o comportamento das respostas | Monitore as configurações do personagem, o status da conexão e o comportamento do modelo |
| Solução de problemas | Isole a solicitação ao modelo e a resposta gerada | Determine se o problema vem da interface, do personagem, da conexão ou do modelo |
| Custo financeiro | Confira os termos atuais da rota de modelo que você usa | Confira os termos atuais tanto da rota de chat quanto de qualquer modelo conectado |
Uma resposta boa ou ruim não prova que um serviço inteiro é melhor. O modelo, as instruções do personagem, o histórico da conversa e a conexão podem, cada um, mudar o que você vê.
As definições dos personagens e as mensagens iniciais do Janitor AI direcionam a conversa. Comparar essa resposta com a de um prompt sem instruções de personagem no Chutes não isola a qualidade do modelo.
O que fazer em vez disso
Use as mesmas instruções de personagem e os mesmos prompts de teste ao avaliar duas rotas de modelo.
O Chutes pode disponibilizar diferentes modelos, e as conversas no Janitor AI podem usar diferentes conexões com modelos. Uma conclusão baseada em uma única combinação não se aplica a todas as combinações.
O que fazer em vez disso
Registre o modelo exato usado em cada teste e avalie-o nas tarefas que você realmente realiza.
Uma resposta fluente não revela como cada parte de um fluxo de trabalho conectado lida com os dados da conversa. Adicionar uma conexão introduz outro serviço a ser avaliado.
O que fazer em vez disso
Leia as informações aplicáveis sobre o tratamento de dados dos dois serviços antes de compartilhar textos confidenciais.
Um chat com personagem que funciona pode apresentar falhas se a rota do modelo selecionado estiver indisponível ou configurada incorretamente. Isso não significa necessariamente que haja um problema com o personagem.
O que fazer em vez disso
Teste a rota do modelo separadamente e depois tente enviar a mesma mensagem novamente no chat com personagem.
A opção mais rápida depende do que você quer concluir, não apenas de quanto tempo leva para uma resposta aparecer. A configuração e o diagnóstico muitas vezes demoram mais do que o envio da primeira mensagem.
Opção 1
Comece diretamente pelo Chutes.
Um prompt curto e repetível elimina a configuração do personagem do teste. Mantenha o nome do modelo e o prompt iguais enquanto avalia a precisão, o tom e a consistência.
Opção 2
Comece pelo Janitor AI.
A interface do personagem mantém a persona e a conversa juntas. Avalie o chat como um todo, em vez de tratar uma única resposta como um teste isolado do modelo.
Opção 3
Verifique se uma conexão com o Chutes é adequada à sua configuração.
Manter o personagem e as mensagens de exemplo iguais ajuda você a perceber o que muda com o modelo. Reserve mais tempo para configurar a conexão e identificar possíveis pontos de falha.
Se a sua decisão depende do modelo, de outras opções ou de uma conexão específica, estes guias ajudam a delimitar a questão antes de você mudar seu fluxo de trabalho.
Vale a pena considerar uma mudança quando você consegue identificar o problema que ela deve resolver: escolha do modelo, recursos de chat com personagens ou uma conexão instável. Mantenha o mesmo personagem e um pequeno conjunto de prompts, compare os resultados e fique com a opção mais simples se a configuração adicional não trouxer nenhuma melhoria útil. Na comparação entre chutes e Janitor AI, combinar os dois pode fazer mais sentido do que tratá-los como substitutos.
Não. Chutes é uma forma de acessar modelos para inferência, enquanto o Janitor AI é voltado a conversas com personagens. Um chat no Janitor AI pode usar um acesso a modelos configurado separadamente; assim, os dois podem fazer parte do mesmo fluxo de trabalho, em vez de serem substitutos diretos.
Isso depende das opções de conexão disponíveis atualmente no Janitor AI e da compatibilidade delas com a forma de acesso ao modelo do Chutes que você escolheu. Consulte as instruções de configuração atuais dos dois serviços, em vez de presumir que qualquer modelo poderá ser conectado. Faça um teste com uma mensagem curta e sem informações confidenciais antes de confiar nessa configuração.
Não há um vencedor que se aplique a toda a plataforma. O modelo selecionado, a definição do personagem, o histórico da conversa e o prompt influenciam a resposta. Para fazer uma comparação útil, mantenha o mesmo personagem e as mesmas mensagens de teste, alterando apenas a forma de acesso ao modelo.
Modelos diferentes podem interpretar as mesmas instruções de personagem de maneiras diferentes. Uma mudança na conexão também pode afetar o contexto que chega ao modelo ou até impedir que uma solicitação seja concluída. Primeiro, confirme o modelo e a conexão selecionados; depois, compare o mesmo trecho de conversa.
Adote um fluxo de trabalho direto no Chutes se seu objetivo principal for testar ou usar modelos sem a interface de chat com personagens. Continue no Janitor AI se o importante for gerenciar uma conversa com um personagem. Se precisar dos dois, procure uma conexão compatível em vez de migrar todo o seu fluxo de trabalho.