部署前评估 LLM 营销工作流

核心观点

评估应将输出与明确任务要求比较，并包含真实失败场景，而不只是有利示例。

收集典型和困难输入，定义评分标准，将参考测试集与提示词调优分离。审核正确性、完整性和品牌适配，记录模型与提示词版本、成本及人工介入点。

观察审核分歧和重复失败类型。平均分可能掩盖不可接受的错误。任务、模型、来源或流程改变后应重新评估。

先区分不可接受错误和审核者可合理修正的瑕疵。产品主张错误可能必须阻止发布，即使风格和完整性得分很高。选样本或比较配置前先写明阻断条件。

准备十二项普通任务、六项困难任务和六项应澄清或拒答的案例。两位审核者在不知道配置名称的情况下独立评分部分样本，讨论分歧、修正模糊标准后再全量比较。另留一组数据直到工作流修改完成再用。

交付评估包：输入、必需证据、评分锚点、阻断错误和结果表。记录配置、运行日期、审核投入、任务完成及错误类型，同时汇总总体表现和最严重相关失败。

模型自评可能遗漏造成错误的同一假设。事实与计算用独立检查，重要判断由人审核；若审核者不认同正确结果，先修任务定义再解释数值分数。

通过对话界面提问、讨论需求或借助 AI 起草内容。

智能体在既定权限内，为目标选择步骤并调用工具。

可复用的指令、示例和脚本，指导智能体按团队的方法完成任务。

检索相关企业文档，为回答提供内部知识依据。

用四个虚构广告系列、两个对等周期的 CSV 数据，演示数据校验、指标重算和分析说明。

我们通过 AI 解决方案、工作流、工具和实战培训，帮助营销团队节省时间、提高产能并改善业务成果。