快讯2026-11-16 · 智涌AI

AWS 示例:编程 Agent 按工具结果切模型

NeMo Switchyard Stage 路由流程:编程 Agent 请求先给便宜模型,工具结果不佳时升级到 Claude Opus 5.5

AWS 机器学习博客在 11 月 13 日(美国时间)发布一套示例:用 LiteLLM 网关加 NVIDIA 开源的 NeMo Switchyard 路由插件,让 Claude Code、Codex CLI 这类编程 Agent 的每次请求,在 Bedrock 上的两个模型之间自动切换。

文章的主要观点是只看每 token 单价不够。一个编程任务可能要几次到几十次调用,轮数、每轮重放的历史、重试和最终失败都要花钱。示例用 AWS CDK 把 LiteLLM 和插件部署到 Fargate 私有子网,负载均衡只放行 /v1/chat/completions、/v1/models 和健康检查三个路径,并附带基准脚本,可以拿路由组和单模型组比较自己任务上的成本。Stage 路由不调用裁判模型,但要求 Agent 每次都发完整对话历史。

Switchyard 仓库用 Apache-2.0 许可,约 3,542 星;LiteLLM 也已经内置 Switchyard 的 stage 路由,作为一种自动路由策略。

注意:AWS 标明这是非生产示例;示例安装的 switchyard-server 0.3.0 被 NVIDIA 定位为演示与评估组件,LiteLLM 集成也还是实验性的,配置可能随版本变化。文章没有给出具体的省钱比例,效果要拿自己的任务去测。

关注公众号「智涌AI速递」

每天的 AI 快讯、实用教程和 AI项目实测,也会同步发到微信公众号。在微信里搜索「智涌AI速递」就能关注;不用微信的话,可以用 RSS 订阅本站。