我如何衡量AI智能体是否真正有效

目录

2026年5月更新。

TL;DR: 大多数运营者完全跳过评估，只是假设他们的智能体在正常工作。我的框架：建立包含5–10个已知输入和预期输出的黄金集，用简单语言定义通过/失败标准，每周检查日志。在有10次真实运行之前，不要构建复杂的评估系统——那是扼杀动力的陷阱。

[运营者视角] 我在咨询品牌和Pickleland（德克萨斯州普夫卢格维尔市的一家匹克球场）中管理着30多个生产环境AI智能体。某个时刻，我意识到我花在担心智能体偏移上的时间比实际使用它们的时间还多。这是我最终采用的评估框架——不需要博士学位，不需要自定义评估平台，不需要Python。

没人谈论的问题：智能体在悄悄偏移

当一个人类员工开始做错工作时，你通常会注意到。当一个AI智能体开始产生垃圾输出时，它会继续产生垃圾——悄无声息地，大规模地，直到某些东西出问题足够严重，人类才最终察觉。

我有一个内容智能体，在模型更新后开始附加”作为AI语言模型”的免责声明。我有一个活动推广智能体，因为提示词变量名改变了，它停止包含购票链接。两者都没有高调地失败。两者都只是悄悄退化了。

解决方案不是构建NASA级别的监控系统。而是拥有一个简单、可重复的检查，在偏移累积之前就能发现它。

评估到底是什么（对运营者而言）

工程师用”eval”这个词来表示在模型上运行基准测试。对运营者而言，我指的是更简单的东西：一个可重复的测试，告诉你你的智能体是否仍在做你构建它所做的事情。

三个组成部分：

1. 黄金集 — 5–10个你已经见过的真实输入，配有你已经知道是好的预期输出
2. 通过/失败标准 — 用简单语言说明什么算通过的规则
3. 定期检查 — 你或你的助手实际按照节奏运行测试

就这些。你不需要框架。你需要纪律。

构建你的黄金集

从你的生产日志中提取。找到5–10个你已经知道好的输出长什么样的真实输入。这些是你的基准事实。

对于我的内容管道智能体，黄金集是5篇发布的文章，这些文章在我手动写作时通过了我的声音检查清单。对于我的Pickleland活动推广员，是5个过去互动率高于平均水平的Facebook帖子（评论+分享，不仅仅是点赞）。

好的黄金集规则：

• 真实输入，不是你编造的假设情景
• 至少包含一个边缘案例（棘手的输入、简短的输入、格式不寻常的输入）
• 保持预期输出有文档记录——截图、文本文件、电子表格中的一行
• 永远不要从黄金集中删除；只添加

当智能体最后一次被确认正常工作时，写下”好”看起来是什么样的。那就成为你的预期输出。

定义通过/失败标准

模糊的标准毫无用处。“输出应该是好的”永远会通过，因为你会合理化它。

将你的标准写成非专家也能评估的检查清单项目。以下是我为内容管道智能体实际使用的标准：

内容智能体通过/失败检查清单：

• 文章在前100字内有TL;DR
• 没有”在当今快节奏的世界中”或”作为AI”这样的短语
• 至少有一个具体数字或统计数据
• 字数在800到2000之间
• 所有内部链接都能解析（没有404错误）

对于Pickleland活动推广员：

活动推广员通过/失败检查清单：

• 活动名称与源日历匹配
• 日期和时间正确
• 购票链接存在且未损坏
• 文案不超过280字
• 帖子不使用通用填充短语

如果5个检查清单项目中有4个通过，则运行为通过。如果3个或更少通过，则为失败，我在下次运行前进行调查。

使用Claude作为评判者

对于输出较长或较复杂的智能体，我使用Claude Sonnet作为自动评判者。这比手动审查更快，并且能发现我可能忽略的问题。

以下是我为内容智能体使用的评判提示：

You are evaluating a blog post written by an AI agent. Your job is to check whether it meets the operator's standards.

Evaluate the following post against these criteria:
1. Starts with a direct answer or TL;DR in the first 100 words (YES/NO)
2. Contains at least one concrete number or specific example (YES/NO)
3. Free of AI-speak filler ("As an AI", "in today's fast-paced world", "delve", "it's worth noting") (YES/NO)
4. Word count is between 800 and 2000 words (YES/NO)
5. Tone matches the reference: direct, first-person, opinionated, no fluff (YES/NO)

For each criterion, respond YES or NO with one sentence of explanation.
At the end, output PASS if 4 or 5 criteria are YES, FAIL otherwise.

Post to evaluate:
---
{{post_content}}
---

我将其作为Cloudflare Worker运行，该Worker提取最新草稿，触发此提示，并将结果写入Google Sheet。整个过程需要8秒，每次运行费用约为$0.003。

对于活动推广员，评判提示更简单：

You are checking an AI-generated Facebook event post for accuracy and quality.

Source data:
- Event name: {{event_name}}
- Date: {{event_date}}
- Time: {{event_time}}
- Ticket URL: {{ticket_url}}

Generated post:
---
{{generated_post}}
---

Check:
1. Does the post correctly state the event name? (YES/NO)
2. Does the post correctly state the date and time? (YES/NO)
3. Does the post include the exact ticket URL? (YES/NO)
4. Is the post under 280 words? (YES/NO)
5. Is the tone inviting without using generic filler phrases? (YES/NO)

Output PASS if all 5 are YES, FAIL if any are NO. List which items failed.

在哪里查看：Cloudflare Worker日志

如果你在Cloudflare Workers上运行智能体（我的大多数轻量级智能体都是这样），内置的日志追踪是你最好的朋友。你不需要第三方日志服务就能开始。

我在每周抽查中检查的内容：

• 错误和异常 — 任何崩溃或超时的内容
• 令牌计数 — 如果一次运行突然使用了正常令牌的3倍，说明有什么东西改变了
• 延迟峰值 — 突然减速通常意味着提示词变长了，或者模型在挣扎
• 输出长度漂移 — 如果平均输出从600字降到200字，智能体改变了行为

我每周一早上花15分钟在这上面。我在Notion里有一个简单的检查清单：打开每个智能体的日志，记录任何异常，将令牌使用量与上周的基准进行比较。这就是整个流程。

电子表格评估：丑陋但有效

在有任何自动化之前，我在Google Sheet中运行评估。我仍然在前4周为新智能体使用这个方法。

结构：

每周五行。需要10分钟。如果你连续失败两次，在继续之前停止智能体并修复提示词。

这种方法低技术含量得令人尴尬。这也是我在三次提示词回归到达生产环境之前发现它们的方式。

不该做什么

在有10次真实运行之前，不要构建评估系统。 我见过创始人花两周时间为只运行过两次的智能体构建复杂的评估管道。在你拥有真实的生产数据之前，你对”好”是什么样子知之甚少。

不要用你编造的合成输入进行评估。 合成测试用例会错过生产环境抛给你的奇怪边缘案例。始终从真实日志开始。

不要评估所有内容。 选择3–5个失败会真正造成伤害的智能体——面向客户的输出、任何公开发布的内容、任何触发支付的内容。在你有余力之前，跳过内部实用工具智能体。

不要过早自动化。 你真正使用的电子表格胜过你忘记检查的Datadog仪表板。先手动开始，在运行检查10次并知道你真正在寻找什么之后再自动化。

运营者的底线

评估不必达到工程级别才有用。5–10个真实输入的黄金集、一份通过/失败标准检查清单，以及每周一15分钟的日志检查，将在80%的智能体漂移累积之前就能发现它。从那里开始。如果你仍在没有任何评估的情况下运行智能体，你就是在盲目飞行——最终某些东西会以足够公开的方式失败，让你希望自己花了那20分钟。