Hlavní myšlenka
Hodnocení porovnává výsledky s jasnými požadavky a zahrnuje realistické chyby, ne pouze příznivé příklady.
Metoda
Shromážděte reprezentativní a obtížné vstupy. Určete kritéria a oddělte referenční sadu od ladění promptů. Hodnoťte správnost, úplnost a soulad se značkou. Zapisujte verze, náklady a zásahy.
Jak hodnotit pokrok
Sledujte neshody a opakované chyby. Průměr může zakrýt nepřijatelnou chybu. Opakujte hodnocení při změně úkolu, modelu, zdrojů nebo procesu.
Rozhodnutí
Definujte nepřijatelné chyby a nedostatky, které kontrolor rozumně opraví. Nesprávné produktové tvrzení může zablokovat vydání navzdory dobrému stylu. Podmínky zastavení napište před výběrem testovacích případů nebo porovnáním konfigurací.
Cvičení
Sestavte dvanáct běžných, šest obtížných a šest případů vyžadujících doplnění nebo odmítnutí odpovědi. Dva kontrolory nechte nezávisle posoudit část bez názvu konfigurace. Před úplným srovnáním vyřešte neshody a nejasná kritéria. Závěrečnou sadu ponechte nedotčenou.
Předávaný výstup
Dodejte vstupy, požadované důkazy, hodnoticí kotvy, blokující chyby a výsledkový záznam. Uveďte konfiguraci, datum, náročnost kontroly, dokončení a chyby. Vedle celkového výkonu ukažte nejhorší relevantní selhání, aby průměr neskryl nepřijatelné riziko.
Úskalí
Model při sebehodnocení může přehlédnout stejný předpoklad, který chybu způsobil. Fakta a výpočty ověřujte nezávisle, důležitý úsudek lidsky. Neshoda o správném výsledku vyžaduje jasnější definici úlohy před smysluplným bodováním.
Technologie. Praktický užitek.
Skills
Opakovaně použitelné pokyny, příklady a skripty učí agenta pracovní postupy týmu.
Přečíst průvodceOficiální zdroje
Anthropic · Building effective agentsUkázky
Syntetický soubor CSV zahrnuje čtyři kampaně ve dvou obdobích. Otázka: skrývá zlepšení celkové návratnosti problém?
Zobrazit podrobnostiChcete tento postup pro svůj tým?
Pomáháme marketingovým týmům šetřit čas, tvořit více a zlepšovat obchodní výsledky pomocí AI řešení, pracovních postupů, nástrojů a praktického školení.
Probrat můj pracovní postup AI