Modellauswahl
Ein Modell ist dann nützlich, wenn seine Eingaben, Ausgaben und sein Verhalten zu deinen Anforderungen passen. Beginne mit der Aufgabe, vergleiche die verfügbaren Optionen in Chutes und teste einen kurzen Prompt, bevor du dich auf einen längeren Arbeitsablauf festlegst.
Unterschiedliche Aufgaben erfordern unterschiedliche Stärken. Diese Ausgangspunkte helfen dir zu entscheiden, was du prüfen und testen solltest.
Du brauchst ein Modell, das sich über mehrere Antworten hinweg an eine Charakterbeschreibung hält – nicht nur bei einem überzeugenden Einstieg.
Teste Beständigkeit, Tonfall und wie gut es Anweisungen befolgt. Einen Einstieg für dialogorientierte Aufgaben findest du unter Chutes-Chat.
Du vergleichst Antworten auf eine Frage mit konkreten Vorgaben und einer überprüfbaren Antwort.
Gib jedem Kandidaten denselben Prompt und bewerte die Genauigkeit, bevor du den Stil beurteilst. Wenn eine Anfrage keine Antwort liefert, nutze den Leitfaden zur Fehlerbehebung.
Du möchtest verstehen, ob eine auffällige Antwort auf das Verhalten eines Modells oder auf deinen Prompt zurückgeht.
Wiederhole einen Prompt unter kontrollierten Bedingungen und vergleiche die Antworten, ohne eine einzelne Stichprobe als Herkunftsnachweis zu betrachten.
Du brauchst ein wiederholbares Format, das eine andere Person ohne umfangreiche Nachbearbeitung lesen oder verarbeiten kann.
Prüfe in mehreren Durchläufen, ob das Modell deine gewünschte Struktur einhält, und vergleiche anschließend, wie es mit nachträglichen Korrekturen umgeht.
Bei einem aussagekräftigen Vergleich änderst du das Modell, während Aufgabe und Bewertungskriterien gleich bleiben.
Diese Bilder veranschaulichen den Ablauf; sie zeigen keinen verifizierten direkten Vergleich der Ausgaben zweier namentlich genannter Modelle. Vergleichen Sie die tatsächlichen Antworten mit demselben Prompt in Ihrem eigenen Test.
Einen Kandidaten auswählenSeine Ausgabe prüfenVerwenden Sie einen kleinen, wiederholbaren Test, statt allein anhand des Modellnamens zu entscheiden.
Notieren Sie die Eingabe, die Sie bereitstellen werden, die benötigte Ausgabe und ein klares Erfolgskriterium. Eine Zusammenfassung, eine Antwort im Rollenspiel und eine strukturierte Datenextraktion erfordern unterschiedliche Tests.
Prüfen Sie in der aktuellen Chutes-Modellübersicht die unterstützten Eingabetypen und alle angegebenen Einschränkungen. Verfügbarkeit und Funktionen können sich ändern; prüfen Sie daher die Übersicht, statt sich auf ein altes Beispiel zu verlassen.
Testen Sie mit jedem Kandidaten eine kurze, repräsentative Anfrage. Verwenden Sie dieselben Anweisungen, denselben Kontext und dieselben Bewertungskriterien, damit sich die Antworten leichter vergleichen lassen.
Überprüfen Sie Tatsachenbehauptungen anhand unabhängiger Quellen, kontrollieren Sie das angeforderte Format und wiederholen Sie den Test mit einem zweiten Beispiel. Wählen Sie das Modell, das Ihre Aufgabe zuverlässig erledigt, nicht bloß das mit der überzeugendsten ersten Antwort.
Die Wahl zwischen Chutes-Modellen kann die grundlegenden Grenzen eines Modells nicht beseitigen und kein verlässliches Ergebnis garantieren.
Flüssiger Text ist kein Beleg dafür, dass eine Behauptung, eine Quellenangabe oder eine Berechnung korrekt ist.
Was Sie stattdessen tun sollten
Gleichen Sie wichtige Behauptungen mit unabhängigen Quellen ab und überprüfen Sie Berechnungen separat.
Eine einzelne Antwort kann ungewöhnlich gut oder schlecht ausfallen, besonders wenn die Anfrage mehrdeutig ist.
Was Sie stattdessen tun sollten
Verwenden Sie mehrere Beispiele aus den Aufgaben, die Sie tatsächlich erledigen möchten.
Ein Modell, das in einer älteren Anleitung erwähnt wird, ist bei Ihrem Besuch möglicherweise nicht mehr verfügbar oder verhält sich anders.
Was Sie stattdessen tun sollten
Prüfen Sie das aktuelle Angebot und die unterstützten Eingaben, bevor Sie einen wiederholbaren Arbeitsablauf einrichten.
Sie kann nicht überprüfen, wie ein anderer Dienst eine bestimmte Eingabe verarbeitet oder speichert.
Was Sie stattdessen tun sollten
Übermitteln Sie keine sensiblen Inhalte, bevor Sie die Dokumentation des betreffenden Dienstes geprüft haben.
Die überzeugendste Antwort ist nicht immer die nützlichste. Beurteilen Sie sie anhand des Formats und der Vorgaben der tatsächlichen Aufgabe.
Eingabe
Schritt 1
Geben Sie bei Schreibaufgaben den gewünschten Ton, die Zielgruppe und die erwartete Länge an. Verwenden Sie bei Extraktionsaufgaben ein realistisches Beispiel und benennen Sie die benötigten Felder. Chutes lassen sich nur sinnvoll vergleichen, wenn der Test der späteren Arbeit ähnelt.
Ausgabe
Schritt 2
Lesen Sie über den ersten Satz hinaus. Achten Sie auf fehlende Anforderungen, unbelegte Behauptungen und unerwünschte Formatierungen sowie darauf, ob eine Korrektur die nächste Antwort verbessert. Halten Sie Ihre Beobachtungen fest, statt vom Modellnamen auf das Ergebnis zu schließen.
Die Modellauswahl hängt mit dem Gesprächsverhalten, den Antwortmustern und der praktischen Fehlerbehebung zusammen.
Verwenden Sie für jede Aufgabenart dasselbe Auswahlverfahren, aber unterschiedliche Erfolgskriterien.
Schreiben
Geben Sie jedem Kandidaten ein kurzes Briefing und bitten Sie dann um eine gezielte Überarbeitung. Vergleichen Sie, ob die geforderten Fakten erhalten bleiben und der Ton angepasst wird, ohne unbelegte Behauptungen hinzuzufügen.
Recherche
Stellen Sie eine Frage, deren Antwort Sie überprüfen können. Eine überzeugend klingende Erklärung ist nur dann nützlich, wenn ihre Aussagen einer Überprüfung standhalten. Betrachten Sie Quellenangaben oder scheinbare Gewissheit nicht als Bestätigung.
Strukturierte Aufgaben
Geben Sie die erwarteten Felder und eine realistische Eingabe vor. Prüfen Sie fehlende Werte, zusätzlichen Text und das Verhalten bei einem zweiten Beispiel, bevor Sie die Ausgabe in einem nachgelagerten Prozess verwenden.
Bringen Sie einen kurzen Prompt mit, legen Sie fest, woran Sie eine gute Antwort erkennen, und vergleichen Sie die verfügbaren Optionen anhand dieser Kriterien. Lassen Sie sensible Angaben aus dem Test heraus, sofern Sie nicht geprüft haben, wie der Dienst damit umgeht.
Gehen Sie von der Art der Aufgabe aus, die Sie erledigen möchten, und sehen Sie sich die derzeit verfügbaren Optionen an. Prüfen Sie die angegebenen Eingaben und Fähigkeiten jedes Modells und testen Sie es dann mit einem Prompt, der Ihre Aufgabe widerspiegelt.
Geben Sie beiden denselben Prompt und bewerten Sie ihre Antworten anhand derselben Kriterien. Wiederholen Sie den Vergleich mit einem weiteren Beispiel, bevor Sie sich entscheiden, denn eine einzelne Antwort muss nicht für das typische Verhalten stehen.
Ein Name kann Ihnen helfen, eine Option zu identifizieren, sagt aber nichts über die Genauigkeit bei Ihrer konkreten Aufgabe aus. Vergleichen Sie tatsächliche Ausgaben und überprüfen Sie wichtige Fakten unabhängig.
Nicht, ohne die aktuelle Auflistung auf Chutes zu prüfen. Verfügbarkeit und unterstützte Fähigkeiten können sich ändern. Vergewissern Sie sich daher, dass die Option vorhanden ist, bevor Sie einen Arbeitsablauf darauf aufbauen.
Formulieren Sie die Anweisungen genauer, verringern Sie Mehrdeutigkeiten und versuchen Sie es mit mehreren repräsentativen Beispielen erneut. Bleiben die Ergebnisse unzuverlässig, vergleichen Sie ein anderes verfügbares Modell, statt anzunehmen, dass eine einzige Anpassung des Prompts das Problem löst.