Agent Harness 从零手写(三):记忆、技能、沙箱与评测
前两篇把 Agent 跑了起来。这一篇讲让它能长期用、能给别人用的部分:记忆和技能让能力可以积累和打包,沙箱和评测让它出门之前心里有底。
一、记忆与技能:让能力可积累、可打包
1.1 短时记忆 vs 长期记忆
多轮对话阶段的结论是"模型没记忆,messages 就是记忆"——但那是短时记忆,程序一关就全忘了。长期记忆需要三个动作:
有意思的是 recall 用的是 RAG 阶段那套 embedding + 余弦相似度 —— 同一套机制,上次检索的是文档片段,这次检索的是记忆条目。理解到这一层,就会发现 embedding 是个通用工具,不只是给 RAG 用的。
remember 里还有个小设计值得注意:存之前先算一遍相似度,如果已经有几乎一样的记忆(相似度 > 0.9)就跳过,避免同一件事反复记。
1.2 记忆做成工具
Stage 22 的记忆是程序自动调用的。到 Stage 28 换了个思路:把 save_memory / recall_memory 做成两个工具,让模型自己决定什么时候该记、什么时候该查。同时把暴力余弦换成了 FAISS 向量库。
这一步的差别很像"自动保存"和"手动保存":前者不会漏,但会存一堆没用的;后者更聪明,但要靠模型判断。
1.3 Skill:把"一类任务怎么做"打包
技能(Skill)解决的是"能力复用":把"一类任务怎么做"打包成自包含的包,需要时再加载。项目里 skills/ 下有六个技能 —— 代码审查、写作助手、数学老师、画图、翻译、计算器。
机制本身很朴素:启动时扫描目录建注册表,让模型按任务挑一个技能,把它的指令装进 system prompt。
真正的亮点在 Stage 29:技能不只有指令,还能带工具。skills/画图/ 和 skills/计算器/ 目录里除了 SKILL.md,还有一个 tool.py 暴露自己的工具集;技能被选中时,工具一起注册进运行循环。到这一步,一个"能力包"才算完整 —— 指令加工具,可以整体搬走。
二、能给别人用之前:沙箱与评测
2.1 三条原则
项目把 Agent 安全浓缩成三句话:
- 最小权限:只给完成任务所需的最小能力
- 白名单:只允许明确许可的操作,而不是罗列禁止项
- 隔离:把不可信代码关进受限环境里跑
第 2 条的补充说明很关键:列黑名单永远列不全,所以方向应该反过来 —— 默认拒绝,明确许可才放行。
2.2 纵深防御:模型拒绝了,不等于你可以不写护栏
这是我在这个项目里最有共鸣的一句话:"模型拒绝了"不等于"你可以不写 server 黑名单"。
⚠️ 别省护栏:模型是不可信的输入源 —— 它今天拒绝执行
format c:,不代表明天换了 prompt、换了模型、被注入了恶意文本之后还会拒绝。所以护栏必须一层层独立设置。
每层都假设上一层已经失守 —— 这就是纵深防御。项目里有个演示很直观:绕过模型直接调 run_command("format c:"),server 侧的黑名单照样把它拦下来。
轻量沙箱的最小实现也就几行:
# 模型生成的代码不可信,丢进受限子进程跑
subprocess.run(
[sys.executable, "-c", bad_code],
capture_output=True, text=True,
timeout=2, # 死循环 / 挂起一律掐断
)真正的沙箱还要更狠:容器隔离、禁用网络、只读文件系统。但先有超时和白名单,就已经挡掉大部分事故了。
2.3 评测三件套
没有评测的 Agent 只能靠"感觉还行"。项目的做法是三层:
| 层次 | 做法 | 作用 |
|---|---|---|
| 测试集 | 一组(问题 + 标准答案) | 提供统一的"标尺" |
| 语义打分 | 比生成答案与标准答案的向量相似度 | 容忍措辞差异,不要求逐字一致 |
| LLM 裁判 | 让另一个模型按标准答案判对错 | 处理需要理解语义才能判断的情况 |
三个一起用,才能回答"改了 prompt 之后到底变好了还是变差了"。