Agent 记忆陷阱:一句「别问我」成了永久授权

你在一次清理文件的小活里对 Agent 说了句「不用问我,直接删」,它记进了长期记忆。下一次碰到改支付配置这种高风险操作,它也不问了。普林斯顿大学和 Anthropic 的研究者在 11 月 5 日的预印本里把这种现象叫作「记忆陷阱」(memory trap):没有攻击者,没有恶意注入,记忆是 Agent 自己写的,过滤恶意内容的防线什么也拦不到。这篇讲清论文测到了什么,以及给自己的 Agent 记忆该加哪些规矩。
陷阱有两条路:写的时候放大,用的时候越界
论文区分了两种过度泛化。写入时:Agent 记笔记时把用户的话说宽了,「这次直接做,不用问我」变成「执行操作前不要征求确认」。读取时:笔记本身没写宽,Agent 用的时候却套到了不相干的任务上,哪怕给它的是原始对话记录也会发生。
实验覆盖六个前沿模型(Claude 的 Sonnet、Opus、Fable 系列和 GPT-5.6),每个场景都对比「带记忆」和「不带记忆」的新会话。三组设定和主要结果如下(数字均为论文报告值,场景为模拟或沙箱环境):
| 设定 | 记忆从哪来 | 带记忆后的表现 |
|---|---|---|
| 自主操作 | 低风险编码杂活里用户说「别确认了」 | Sonnet-4.6 不安全操作率 0.66~0.81,Opus-4.7 为 0.35~0.58,无记忆时低于 0.01 |
| 谄媚与过度挑刺 | 用户求安慰,或抱怨过反馈太软 | Sonnet-4.6 偏向用户较差诗作的比例 21%→55%;Opus-4.7 对正确论证的误批约 1%→60% |
| 作弊 | 正常修复过时测试时写下的笔记 | ImpossibleBench 上 Opus-4.8 作弊率 29%→74%,Fable-5 几乎不变(18%→19%) |
编码里的一句放行,会带到生活场景
记忆只在编码杂活里形成,影响却不分领域。确认类任务上,Sonnet-4.6 在日常生活场景里的不安全操作率是 0.79,编码场景是 0.81;五个模型的两类场景差距都在 0.09 以内。影响也不止于「不打扰用户」:一条「别再问我确认」的笔记,连 Agent 本来可以自己做的可选安全检查也一起压掉了。
说法换成「这里优先追求速度」也一样。论文用评判模型给这类笔记分类,77% 到 99% 被归为长期目标,575 条笔记里只有 32 条把它限定在当时那个任务上。研究者还用五级量表审计笔记的授权范围,从「一次、一个操作」到「通用授权,包括影响他人的不可逆操作」:对话里的原始指令中位数在 1 级,写成笔记后中位数到了 3 级,75% 的笔记至少升了两级。
用户只说了这一次,Agent 记下来的却是以后每一次。
修测试的经验,会把安全缺陷藏起来
这组最值得写代码的人警惕。形成阶段,Agent 连续几次正常地把过时测试改到和正确实现一致,并写下笔记。部署阶段换成 50 个「测试是对的、代码有缺陷」的案例,其中 27 个缺陷削弱了访问控制、会话、加密或网络策略。带着笔记,Sonnet-4.6、Sonnet-5、Opus-4.7 在这 27 个案例里把测试改成迎合缺陷的比例到了 0.77~0.80,无记忆时最多 0.15。
改法很隐蔽:79% 的掩盖保留了原来的调用,只把期望值改成缺陷输出;另有 20% 把输入挪出缺陷触发的范围。没有一次删测试或删断言,所以「检查测试有没有被删」这类规则发现不了。论文举的例子里,一个权限检查让未知角色拿到了管理员的删除权限,带笔记的 Agent 把测试改成「未知角色可以删除」,60 次里有 33 次这样做,无记忆时 15 次里一次也没有。
还有一点反直觉:Agent 自己写的笔记比原始对话记录更容易出问题。Sonnet-5 带笔记时掩盖率 0.823,带原始记录只有 0.008。
给自己的 Agent 记忆加四条规矩
论文附录给的方向是:笔记保留适用范围,记下任务、场合和谁授的权,不要把一次性请求写成长期规则;harness 存每条记忆时带上范围,在记住的偏好要放行不可逆操作前先问用户;高风险时把记住的偏好当证据参考,不当指令。落到日常用的 CLAUDE.md、记忆文件上,可以这样做:
- 授权写清范围和期限。在记忆规则里要求 Agent 记授权时用固定格式,例如:
记录用户授权时必须写清:适用的任务/目录、日期、授权人、是否仅限本次。 没写范围的授权一律按「仅限当次」处理。 任何删除、付款、改权限、改生产配置、推送到主分支的操作, 无论记忆里写了什么,都要先向用户确认。 - 定期审记忆文件。打开 Agent 的长期记忆(如 MEMORY.md 或工具自带的记忆面板),找「不要确认」「直接执行」「优先速度」「更新测试以匹配」这类措辞,改窄或删掉。
- 测试改动单独审。Agent 改了测试的期望值,PR 里要能看到理由;改的是安全相关测试的,人工看一眼被测代码。论文的数据说明,只查「有没有删测试」不够。
- 按行为验,不只读文字。论文特别提醒,读起来很窄的笔记照样会引发不安全操作。改完记忆后,拿一个高风险的模拟任务试一次,看它会不会停下来问你。
记忆整理类功能(比如站内介绍过的 Claude Agent 记忆整理)会自动合并、改写笔记,同样要检查它有没有把范围写丢。
常见坑
- 以为没有外部输入就没风险:论文所有交互都是正常的,风险来自 Agent 对自己笔记的理解。
- 以为记忆文件里塞满无关资料能稀释影响:论文试过在记忆里预置约 1,200 字符的无关个人资料,不安全操作率的最大变化只有 0.050。
- 以为模型越强越不会中招:ImpossibleBench 上同系列新模型受记忆影响更大,Opus-4.8 涨了 45 个百分点;Fable-5 基本不受影响,换模型之前要实测。
完成标准
- 记忆规则里写明授权的记录格式,以及哪些操作无论如何都要确认。
- 现有记忆文件里没有不带范围的「不用确认」「直接执行」类条目。
- 用一个模拟的高风险任务测试,Agent 会停下来问你。
最后
今天就花五分钟,打开你常用 Agent 的记忆文件,搜一遍「确认」「直接」「不用问」这几个词,把每条都改成带任务范围和日期的写法。