教程2026-11-07 · 智涌AI

Uber Secure AI 是什么:Agent 权限之外还要核对意图

Uber Secure AI 教程头图:供应期立行为契约、运行时 AI Guard 判决、持续回放与红队;强调有权限仍要核对用户意图与会话上下文

Agent 有合法身份、工具也授权了,仍可能做出「用户没要过」的事——间接提示注入、目标劫持、记忆投毒、行为漂移,都会落在语义层。Uber 工程博客 2026-11-06《Securing AI Agents: Lessons From Real-World Deployment》介绍其 Secure AI:在传统身份与授权之外,再问一句「给定用户请求、Agent 人设与意图、角色与整段会话上下文,这个动作该不该做」。本文按该博文做框架综述;未部署 Uber 内部组件,标未实测。文中不编造未公布的生产指标。

授权够不够:语义层才是新攻击面

传统服务跑固定逻辑;Agent 会动态消化用户话、网页、文档、工具和其他 Agent 的内容,再变成真实动作。攻击面有一部分从身份/API 控制挪到语义层:提示注入、工具与记忆投毒、目标劫持、行为漂移、幻觉驱动的动作。

Uber 写明:身份与授权能判断谁可以碰资源,却判断不了「提议的动作在上下文里是否合适」。他们也评估过商用护栏(直接注入、越狱、不安全内容、敏感数据)和政策引擎——这些仍是纵深防御的零件,但盖不住核心威胁模型:用户、Agent、工具、每次 API 调用都「合法授权」,Agent 仍被诱导去做非本意的事。

因此控制模型从「维护无穷攻击变体的检测规则」,转向语义、行为向强制:对照人设、允许的意图、语义约束、用户上下文、多轮会话历史来评提示与拟议动作;越界可拒,哪怕具体攻击手法从没见过。多问一句:给定用户要什么、会话里已发生什么,这个动作该不该做?

Agent 可以有调工具的合法凭证,用户也可以有权访问底层资源,但具体动作仍可因偏离意图或与会话上下文不一致而被拒绝。

三层:供应、运行时、持续保证

Secure AI 按 Agent 生命周期铺三层,并嵌进 Uber 现有 AI/工程栈,而不是让每个产品队自建网关。

层目标博文中的代表能力
供应期(provisioning)立行为契约:身份、归属、人设、允许意图、约束、依赖、风险等级AI Registry 权威记录;Argus 分析源码/提示/配置/依赖/端点/工具路径,推导结构化意图并对齐「声明 vs 能力」;第三方 MCP/工具做静动态分析、组成分析、声誉与工具描述语义检查;模型上线前评估;monorepo 扫描抓未注册 Agent、未授权 MCP、绕控行为
运行时(runtime)在执行路径上做行为决策Registry 作 PAP;AI Guard 作 PDP;Agent Guard 钩子与 LangFx / AI Guard SDK 作 PEP;在关键检查点问 Guard 再放行
持续保证(assurance)可解释、可回放、可进化统一执行链遥测;按需保留提示/响应并脱敏;对新护栏与策略做流量回放;自动威胁建模驱动场景化渗透与持续 AI 红队;结果回流风险分、策略、模型校准与护栏

概念上在「身份 → 授权 → 行为授权 → 动作」多插一层:传统控制解决谁在动、能碰什么资源;行为层解决为什么动、是否符合 Agent 目的、当前上下文是否支持。

运行时护栏直接踩在用户路径上,延迟是硬约束。博文选择:尽量不用通用 SaaS 大模型做每一次安全判决(网络往返与远端推理又慢又抖);改用本地托管的小而专的模型(含按护栏功能微调),并行推理,必要时内存向量检索做低延迟语义匹配。再按每个 Agent 的行为与风险画像做持续校准,而不是全站一个阈值。

提示溯源与证据链

博文在引言就把 prompt provenance 与 evidence chaining 标成运行时关键补充:把特权动作关联回用户真正请求过的内容,用于对抗间接提示注入、目标劫持与非预期行为。结论段进一步强调四件会随自主性上升而更重要的控制(不是「模型变强就可以拆掉的脚手架」):

  1. 人设(persona)——Agent 是谁、为谁服务;
  2. 收窄的意图(scoped intents)——允许追求哪些目标;
  3. 约束(constraints)——动作合法的条件;
  4. 溯源 / 证据链——长序列每一步仍能追溯到人的请求。

另有「operating principles」约束长时间无人值守时的目标追求行为。系列后续博文预告会拆 Agent Persona、上下文感知护栏、端到端可观测,以及意图过滤、约束、溯源与安全接入——本稿只覆盖首篇已写明的框架。

上线后踩过的坑

从架构落到生产,博文单列几条工程问题:

核心教训写得很直:安全、准确、延迟、成本、Agent 自主性、开发体验不能各自优化;护栏是分布式系统与工程问题,也是安全问题。

你怎么往自己的栈映射(未接 Uber 组件)

读博文是为了搬问题切分,不是假装能复制内部平台名。可自问:

问题自查动作
每个 Agent 有没有写清的人设与允许意图清单?写进注册表或配置,评审「声明能力」是否大于代码真实路径
工具/MCP 是否只做了鉴权、没做描述与依赖审查?上线前查工具文案投毒、依赖与声誉;运行时仍要行为判决
特权动作能否回溯到用户原话与中间证据?日志里串起 user utterance → 中间推理/检索 → tool call;缺环就先别放权
护栏是否统一阈值?按风险分级;先影子再强制;量误拦/误放
安全是否要产品队每次自研?尽量挂在公共创建/运行路径上,默认继承

站内相关:提示注入与 Agent 防护见 Agent 提示注入怎么防;Coding Agent 权限与 hooks 见 Claude Code 权限设置、Hooks 护栏。那些是单机/IDE 侧控件;Uber 文讲的是多 Agent、多工具、生产级行为治理——层级不同,问题同构:有权限 ≠ 符合本意。

常见坑

完成标准

最后

先写清每个 Agent 允许的意图与约束,再加运行时判决与可回放证据;灵活度会下降,但这是博文认为今天值得付的成本。细节与组件演进以 Uber 工程博客后续篇章为准。

关注公众号「智涌AI速递」

每天的 AI 快讯、实用教程和 AI项目实测,也会同步发到微信公众号。在微信里搜索「智涌AI速递」就能关注;不用微信的话,可以用 RSS 订阅本站。