Uber Secure AI 是什么:Agent 权限之外还要核对意图

Agent 有合法身份、工具也授权了,仍可能做出「用户没要过」的事——间接提示注入、目标劫持、记忆投毒、行为漂移,都会落在语义层。Uber 工程博客 2026-11-06《Securing AI Agents: Lessons From Real-World Deployment》介绍其 Secure AI:在传统身份与授权之外,再问一句「给定用户请求、Agent 人设与意图、角色与整段会话上下文,这个动作该不该做」。本文按该博文做框架综述;未部署 Uber 内部组件,标未实测。文中不编造未公布的生产指标。
授权够不够:语义层才是新攻击面
传统服务跑固定逻辑;Agent 会动态消化用户话、网页、文档、工具和其他 Agent 的内容,再变成真实动作。攻击面有一部分从身份/API 控制挪到语义层:提示注入、工具与记忆投毒、目标劫持、行为漂移、幻觉驱动的动作。
Uber 写明:身份与授权能判断谁可以碰资源,却判断不了「提议的动作在上下文里是否合适」。他们也评估过商用护栏(直接注入、越狱、不安全内容、敏感数据)和政策引擎——这些仍是纵深防御的零件,但盖不住核心威胁模型:用户、Agent、工具、每次 API 调用都「合法授权」,Agent 仍被诱导去做非本意的事。
因此控制模型从「维护无穷攻击变体的检测规则」,转向语义、行为向强制:对照人设、允许的意图、语义约束、用户上下文、多轮会话历史来评提示与拟议动作;越界可拒,哪怕具体攻击手法从没见过。多问一句:给定用户要什么、会话里已发生什么,这个动作该不该做?
Agent 可以有调工具的合法凭证,用户也可以有权访问底层资源,但具体动作仍可因偏离意图或与会话上下文不一致而被拒绝。
三层:供应、运行时、持续保证
Secure AI 按 Agent 生命周期铺三层,并嵌进 Uber 现有 AI/工程栈,而不是让每个产品队自建网关。
| 层 | 目标 | 博文中的代表能力 |
|---|---|---|
| 供应期(provisioning) | 立行为契约:身份、归属、人设、允许意图、约束、依赖、风险等级 | AI Registry 权威记录;Argus 分析源码/提示/配置/依赖/端点/工具路径,推导结构化意图并对齐「声明 vs 能力」;第三方 MCP/工具做静动态分析、组成分析、声誉与工具描述语义检查;模型上线前评估;monorepo 扫描抓未注册 Agent、未授权 MCP、绕控行为 |
| 运行时(runtime) | 在执行路径上做行为决策 | Registry 作 PAP;AI Guard 作 PDP;Agent Guard 钩子与 LangFx / AI Guard SDK 作 PEP;在关键检查点问 Guard 再放行 |
| 持续保证(assurance) | 可解释、可回放、可进化 | 统一执行链遥测;按需保留提示/响应并脱敏;对新护栏与策略做流量回放;自动威胁建模驱动场景化渗透与持续 AI 红队;结果回流风险分、策略、模型校准与护栏 |
概念上在「身份 → 授权 → 行为授权 → 动作」多插一层:传统控制解决谁在动、能碰什么资源;行为层解决为什么动、是否符合 Agent 目的、当前上下文是否支持。
运行时护栏直接踩在用户路径上,延迟是硬约束。博文选择:尽量不用通用 SaaS 大模型做每一次安全判决(网络往返与远端推理又慢又抖);改用本地托管的小而专的模型(含按护栏功能微调),并行推理,必要时内存向量检索做低延迟语义匹配。再按每个 Agent 的行为与风险画像做持续校准,而不是全站一个阈值。
提示溯源与证据链
博文在引言就把 prompt provenance 与 evidence chaining 标成运行时关键补充:把特权动作关联回用户真正请求过的内容,用于对抗间接提示注入、目标劫持与非预期行为。结论段进一步强调四件会随自主性上升而更重要的控制(不是「模型变强就可以拆掉的脚手架」):
- 人设(persona)——Agent 是谁、为谁服务;
- 收窄的意图(scoped intents)——允许追求哪些目标;
- 约束(constraints)——动作合法的条件;
- 溯源 / 证据链——长序列每一步仍能追溯到人的请求。
另有「operating principles」约束长时间无人值守时的目标追求行为。系列后续博文预告会拆 Agent Persona、上下文感知护栏、端到端可观测,以及意图过滤、约束、溯源与安全接入——本稿只覆盖首篇已写明的框架。
上线后踩过的坑
从架构落到生产,博文单列几条工程问题:
- 误拦 vs 误放:人设/意图太紧会打乱正当任务,太松又弱防护。做法:影子模式、流量回放、按 Agent 校准,用真实行为量测后再强制。
- 延迟:静态 + 上下文 + 语义护栏叠层会拖慢。做法:护栏并行,能用小专模型就不用大通用模型,压住往返预算。
- 开发者摩擦:手注册、手写人设意图、手分配护栏会鼓励绕过。Argus 预生成人设与意图,团队评审修改,让「安全路径」最好走。
- 通用控件不够:统一护栏与静态阈值盖不住不同目的、工具与风险。改为 Agent 专属人设/意图/约束 + 风险校准,并用生产遥测、回放、测试持续喂。
核心教训写得很直:安全、准确、延迟、成本、Agent 自主性、开发体验不能各自优化;护栏是分布式系统与工程问题,也是安全问题。
你怎么往自己的栈映射(未接 Uber 组件)
读博文是为了搬问题切分,不是假装能复制内部平台名。可自问:
| 问题 | 自查动作 |
|---|---|
| 每个 Agent 有没有写清的人设与允许意图清单? | 写进注册表或配置,评审「声明能力」是否大于代码真实路径 |
| 工具/MCP 是否只做了鉴权、没做描述与依赖审查? | 上线前查工具文案投毒、依赖与声誉;运行时仍要行为判决 |
| 特权动作能否回溯到用户原话与中间证据? | 日志里串起 user utterance → 中间推理/检索 → tool call;缺环就先别放权 |
| 护栏是否统一阈值? | 按风险分级;先影子再强制;量误拦/误放 |
| 安全是否要产品队每次自研? | 尽量挂在公共创建/运行路径上,默认继承 |
站内相关:提示注入与 Agent 防护见 Agent 提示注入怎么防;Coding Agent 权限与 hooks 见 Claude Code 权限设置、Hooks 护栏。那些是单机/IDE 侧控件;Uber 文讲的是多 Agent、多工具、生产级行为治理——层级不同,问题同构:有权限 ≠ 符合本意。
常见坑
- 只堆直接注入分类器。博文的威胁模型强调:手法未见过也可能越界;要靠意图/约束/上下文,而不是规则表穷举。
- 用超大通用模型做每次运行时判决。延迟与成本会逼团队关掉护栏;小专模型 + 并行是他们的生产选择。
- 接入流程比绕过还痛。再强的控制,只要误拦高、注册烦,就会被旁路。
- 把「模型更强」当成可以拆掉意图边界的理由。结论段明确:人设、收窄意图、约束、溯源会随自主性更重要。
- 转述二手「Uber 生产数字」。首篇以架构与权衡为主;本文不引用博文未给出的量化战绩。
完成标准
- 能用一句话向同事解释:为什么「工具已授权」仍要行为层否决。
- 能画出供应 / 运行时 / 保证三层,并各举一项能力。
- 能列出 persona、scoped intents、constraints、provenance 四件套及其分工。
- 能在自己的 Agent 配置里指出:意图清单在哪、特权动作日志能否溯源到用户请求(本站未对接 Uber Secure AI)。
最后
先写清每个 Agent 允许的意图与约束,再加运行时判决与可回放证据;灵活度会下降,但这是博文认为今天值得付的成本。细节与组件演进以 Uber 工程博客后续篇章为准。