הרעיון המרכזי
הערכה משווה תוצאות לדרישות מפורשות וכוללת כשלים מציאותיים, לא רק דוגמאות נוחות.
השיטה
אספו קלט מייצג וקשה, קבעו קריטריונים והפרידו מערך ייחוס מכוונון פרומפטים. בדקו נכונות, שלמות והתאמה למותג. תעדו גרסאות, עלויות והתערבויות.
איך מעריכים התקדמות
עקבו אחר מחלוקות ושגיאות חוזרות. ממוצע יכול להסתיר טעות בלתי קבילה. העריכו מחדש כשמשימה, מודל, מקורות או תהליך משתנים.
החלטה
החליטו אילו טעויות אינן קבילות ואילו פגמים בודק יכול לתקן באופן סביר. טענת מוצר שגויה עשויה לחסום פרסום גם כשהסגנון והשלמות טובים. כתבו תנאי חסימה לפני בחירת דוגמאות או השוואת תצורות.
תרגול
אספו שתים-עשרה משימות רגילות, שש קשות ושישה מקרים שצריכים להוביל להבהרה או להימנעות. שני בודקים ידרגו בנפרד מדגם ללא שם התצורה. דונו במחלוקות ותקנו ניסוח עמום במחוון לפני ההשוואה המלאה. שמרו קבוצה נפרדת ללא שימוש עד גמר השינויים.
תוצר למסירה
הגישו ערכת הערכה עם מקרי קלט, ראיות נדרשות, עוגני דירוג, טעויות חוסמות ויומן תוצאות. תעדו תצורה, תאריך, מאמץ בדיקה, השלמת משימה וסוג כשל. סכמו ביצועים כוללים ואת הכשלים החמורים הרלוונטיים, כדי שממוצע לא יסתיר טעות לא קבילה.
טעות שכדאי למנוע
מודל ששופט את תשובתו עלול להחמיץ את ההנחה שגרמה לטעות. השתמשו בבדיקות עצמאיות לעובדות וחישובים ובבני אדם לשיפוט משמעותי. כשהבודקים חלוקים על התוצאה הנכונה, תקנו את הגדרת המשימה לפני הסתמכות על ציון.
הטכנולוגיה והיישום המעשי.
מקורות רשמיים
Anthropic · Building effective agentsהדגמות
קובץ CSV בדיוני עם ארבעה קמפיינים ושתי תקופות באורך זהה מדגים אימות קלט, חישוב מדדים מחדש וכתיבת ניתוח.
לפרטיםרוצים שנבנה את התהליך הזה לצוות שלכם?
אנחנו עוזרים לצוותי שיווק לחסוך זמן, להפיק יותר ולשפר תוצאות עסקיות בעזרת פתרונות AI, תהליכי עבודה, כלים והדרכה מעשית.
נדבר על תהליך ה-AI שלי