Skip to content

Agent Harness 从零手写(三):记忆、技能、沙箱与评测 ​

前两篇把 Agent 跑了起来。这一篇讲让它能长期用、能给别人用的部分:记忆和技能让能力可以积累和打包,沙箱和评测让它出门之前心里有底。

一、记忆与技能:让能力可积累、可打包 ​

1.1 短时记忆 vs 长期记忆 ​

多轮对话阶段的结论是"模型没记忆,messages 就是记忆"——但那是短时记忆,程序一关就全忘了。长期记忆需要三个动作:

有意思的是 recall 用的是 RAG 阶段那套 embedding + 余弦相似度 —— 同一套机制,上次检索的是文档片段,这次检索的是记忆条目。理解到这一层,就会发现 embedding 是个通用工具,不只是给 RAG 用的。

remember 里还有个小设计值得注意:存之前先算一遍相似度,如果已经有几乎一样的记忆(相似度 > 0.9)就跳过,避免同一件事反复记。

1.2 记忆做成工具 ​

Stage 22 的记忆是程序自动调用的。到 Stage 28 换了个思路:把 save_memory / recall_memory 做成两个工具,让模型自己决定什么时候该记、什么时候该查。同时把暴力余弦换成了 FAISS 向量库。

这一步的差别很像"自动保存"和"手动保存":前者不会漏,但会存一堆没用的;后者更聪明,但要靠模型判断。

1.3 Skill:把"一类任务怎么做"打包 ​

技能(Skill)解决的是"能力复用":把"一类任务怎么做"打包成自包含的包,需要时再加载。项目里 skills/ 下有六个技能 —— 代码审查、写作助手、数学老师、画图、翻译、计算器。

机制本身很朴素:启动时扫描目录建注册表,让模型按任务挑一个技能,把它的指令装进 system prompt。

真正的亮点在 Stage 29:技能不只有指令,还能带工具。skills/画图/ 和 skills/计算器/ 目录里除了 SKILL.md,还有一个 tool.py 暴露自己的工具集;技能被选中时,工具一起注册进运行循环。到这一步,一个"能力包"才算完整 —— 指令加工具,可以整体搬走。

二、能给别人用之前:沙箱与评测 ​

2.1 三条原则 ​

项目把 Agent 安全浓缩成三句话:

  1. 最小权限:只给完成任务所需的最小能力
  2. 白名单:只允许明确许可的操作,而不是罗列禁止项
  3. 隔离:把不可信代码关进受限环境里跑

第 2 条的补充说明很关键:列黑名单永远列不全,所以方向应该反过来 —— 默认拒绝,明确许可才放行。

2.2 纵深防御:模型拒绝了,不等于你可以不写护栏 ​

这是我在这个项目里最有共鸣的一句话:"模型拒绝了"不等于"你可以不写 server 黑名单"。

⚠️ 别省护栏:模型是不可信的输入源 —— 它今天拒绝执行 format c:,不代表明天换了 prompt、换了模型、被注入了恶意文本之后还会拒绝。所以护栏必须一层层独立设置。

每层都假设上一层已经失守 —— 这就是纵深防御。项目里有个演示很直观:绕过模型直接调 run_command("format c:"),server 侧的黑名单照样把它拦下来。

轻量沙箱的最小实现也就几行:

python
# 模型生成的代码不可信,丢进受限子进程跑
subprocess.run(
    [sys.executable, "-c", bad_code],
    capture_output=True, text=True,
    timeout=2,                 # 死循环 / 挂起一律掐断
)

真正的沙箱还要更狠:容器隔离、禁用网络、只读文件系统。但先有超时和白名单,就已经挡掉大部分事故了。

2.3 评测三件套 ​

没有评测的 Agent 只能靠"感觉还行"。项目的做法是三层:

层次做法作用
测试集一组(问题 + 标准答案)提供统一的"标尺"
语义打分比生成答案与标准答案的向量相似度容忍措辞差异,不要求逐字一致
LLM 裁判让另一个模型按标准答案判对错处理需要理解语义才能判断的情况

三个一起用,才能回答"改了 prompt 之后到底变好了还是变差了"。

本文阅读--次|全站访问--次|访客--人