会話文の作成者
説得力のある書き出しを1つ作るだけでなく、複数の応答にわたってキャラクター設定を守れるモデルが必要です。
一貫性、口調、指示をどれだけ守るかをテストしましょう。会話向けのモデルを探すなら、Chutesチャットをご覧ください。
モデルの選択
次のタスクに適したChutesのモデルを選ぶ
モデルが役立つのは、入力、出力、動作が目的に合っているときです。まずタスクを明確にし、Chutesで利用できる選択肢を比較してから、長いワークフローに取り組む前に短いプロンプトで試しましょう。
モデルの選択が結果を変える3つの場面
タスクによって求められる強みは異なります。以下を手がかりに、何を確認し、何をテストするかを決めましょう。
技術調査の担当者
具体的な制約があり、答えを検証できる質問について、複数の回答を比較します。
各候補に同じプロンプトを与え、文体を評価する前に正確さを確認しましょう。リクエストに応答がない場合は、トラブルシューティングガイドをご覧ください。
出力のレビュー担当者
特徴的な応答がモデルの動作によるものか、プロンプトによるものかを見極めたいと考えています。
条件を統一したプロンプトを繰り返し使って応答を比較し、1つのサンプルだけで発生源を断定しないようにしましょう。
ワークフローの構築者
別の人が大幅に手直しせずに読んだり処理したりできる、再現性のある形式が必要です。
複数回試して、モデルが指定した構成に従うかを確認し、その後の修正指示にどう対応するかを比較しましょう。
条件を統一した比較でわかることを見る
有用な比較を行うには、タスクと評価基準を一定に保ち、モデルだけを変えます。
これらの画像はワークフローを示すものであり、名前を挙げた2つのモデルの出力を検証済みの状態で並べて比較したものではありません。ご自身のテストで同じプロンプトを使い、実際の回答を比較してください。
候補を選ぶ出力を確認するモデルを段階的に選んでテストする
モデル名だけで判断せず、小規模で再現可能なテストを行いましょう。
-
1
タスクを定義する
入力する内容、必要な出力、明確な成功条件を1つ書き出します。要約、ロールプレイの返答、構造化された情報抽出では、それぞれ異なるテストが必要です。
-
2
利用可能な選択肢を確認する
現在のChutesのモデル一覧で、対応する入力形式と記載されている制約を確認します。利用可否や機能は変わる可能性があるため、古い例に頼らず一覧を確認してください。
-
3
同じプロンプトを試す
各候補に、実際の用途を代表する短いリクエストを試します。回答を比較しやすいよう、指示、文脈、評価基準を同じにしてください。
-
4
検証して繰り返す
事実に関する主張を独立に確認し、指定した形式になっているかを調べ、2つ目の例でも試します。最初の回答が最も洗練されていたモデルではなく、タスクで安定した結果を出すモデルを選びましょう。
限界と注意点
Chutesモデルの中から選んでも、モデル自体の限界をなくしたり、信頼できる結果を保証したりすることはできません。
1
洗練された回答でも間違っていることがある
文章が流暢でも、主張、引用、計算が正しい証拠にはなりません。
代わりにすべきこと
重要な主張は独立した情報源で確認し、計算は別途検証してください。
2
1つのプロンプトだけでは性能を評価できない
特にリクエストが曖昧な場合、1つの回答が例外的に良いことも悪いこともあります。
代わりにすべきこと
実際に予定している作業から複数の例を選んで試してください。
3
選択肢は変わる場合があります
古いガイドに記載されたモデルは、アクセス時には利用できなくなっていたり、動作が変わっていたりする場合があります。
代わりにすべきこと
繰り返し使えるワークフローを構築する前に、現在の掲載内容と対応している入力を確認してください。
4
このガイドでは非公開データを調査できません
特定のプロンプトが別のサービスでどのように処理・保存されるかは検証できません。
代わりにすべきこと
該当するサービスのドキュメントを確認していない限り、機密情報を送信しないでください。
入力と出力を照らし合わせる
一見最も優れた回答が、必ずしも最も役立つとは限りません。実際のタスクの形式と制約に照らして評価してください。
入力
ステップ1
実際の作業を代表する入力から始める
文章作成では、想定する文体、読者、長さを指定してください。情報抽出では、現実的なサンプルを用意し、必要な項目を指定してください。テストがその後の作業に近い場合にのみ、Chutesを有意義に比較できます。
- 候補間でタスクを同一に保つ
- 実務上重要な制約を含める
出力
ステップ2
実際に使える結果を評価する
冒頭の一文だけでなく、最後まで読んでください。要件の抜け、根拠のない主張、不要な書式がないか、また修正によって次の回答が改善されるかを確認します。モデル名から結果を推測せず、観察したことを記録してください。
- 正確さと指示への準拠を別々に確認する
- タスクやプロンプトが変わったら再テストする
関連する機能を探る
モデルの選択は、会話中の振る舞い、回答の傾向、実践的なトラブルシューティングに関わります。
作業内容に合わせて選ぶ
タスクの種類ごとに成功基準を変え、同じ選択方法を使います。
文章作成
文体と推敲を重視する
各候補に短い概要を伝えたうえで、具体的な修正を依頼します。必要な事実を維持し、提示していない主張を加えずに文体を調整できるか比較します。
- 初稿をテストする
- 具体的な追加修正をテストする
リサーチ
検証可能な回答を重視する
答えを検証できる質問をします。自信に満ちた説明でも、その主張を確認して正しいとわかって初めて役に立ちます。引用や確信ありげな表現を、正しさの証拠とみなさないでください。
- 重要な事実を独立して検証する
- 根拠のない主張を記録する
構造化タスク
形式の一貫性を重視する
必要なフィールドと現実的な入力を提示します。後続の処理で出力を利用する前に、値の欠落や余分なテキストの有無、2つ目の例での動作を比較します。
- 必要なフィールドを指定する
- 複数のサンプルを確認する
モデルを活用する
短いプロンプトを用意し、望ましい回答の基準を定め、利用可能な選択肢をその基準で比較しましょう。サービスでの取り扱いを確認していない限り、機密情報はテストに含めないでください。
Chutesモデルに関する質問
まず必要な作業の種類を明確にし、現在利用可能な選択肢を確認しましょう。各候補に記載されている入力形式と機能を確認し、タスクを反映したプロンプトでテストしてください。
両方に同じプロンプトを与え、同じ基準で回答を評価してください。1つの回答が通常の動作を反映しているとは限らないため、別の例でも試してから判断しましょう。
名前は選択肢の識別には役立ちますが、特定のタスクでの正確性を保証するものではありません。実際の出力を比較し、重要な事実は独立して検証してください。
現在のChutesの掲載情報を確認せずに利用するのは避けてください。利用状況や対応機能は変わる可能性があるため、そのモデルを前提にワークフローを計画する前に、現在も利用できることを確認しましょう。
指示をより具体的にし、曖昧さを減らして、タスクを反映した複数の例で再試行してください。それでも結果が安定しない場合は、プロンプトを1回調整すれば解決すると考えず、利用可能な別のモデルと比較しましょう。