EKS 给编码 Agent 建沙箱:一个 Pod 一台 VM

编码 Agent 要跑自己写的代码,还要联网拉依赖、调模型、推代码。这两件事放在一起,被提示词注入一次就可能把凭据和代码送出去。AWS 11 月 9 日(美国时间)推出的 Nitro Sandboxes,可以让 EKS 上的每个 Pod 跑在一台独立的轻量虚拟机里。这篇照着 AWS 官方博客和示例仓库,把「一个 issue 起一个沙箱 Pod,让 Claude Code 修 bug、开 PR」这条路拆成可照做的步骤,重点讲权限和出网白名单怎么收紧。
同一节点的 Pod 共用内核,Agent 越权的代价就大了
普通 EKS 集群里,同一台节点上的容器共用一个 Linux 内核。EKS 文档说得很直接:容器逃逸或内核漏洞可能让一个工作负载影响到另一个。以前的办法是给敏感任务单独开机器,贵,而且大部分时间闲着。
Nitro Sandboxes 换了个做法。按 EKS 文档的描述,节点上的 shim 进程 containerd-shim-nitro-sandbox-v2 会为 Pod 拉起一台 Firecracker 微虚拟机,VM 里有自己的内核和自己的 containerd,由 Nitro Hypervisor 在硬件层面隔开 CPU 和内存。Pod 对 Kubernetes 来说还是普通 Pod,kubectl logs、exec、port-forward 照常用。
AWS 博客里有一句:Claude Code 不知道自己在沙箱里,它只看到一个 shell、一个仓库和一个模型。
先把前提条件对齐
- 集群:Kubernetes 1.36 或更新版本;EKS 上的 isolated / confidential Pod 目前只在美国商业区域可用,示例用的是
us-west-2。 - 节点:EKS Auto Mode 最省事,两个 RuntimeClass 随集群自带;标准 EKS 要按用户指南自建支持沙箱的 AMI。
- 工具:
eksctl、kubectl、awsCLI、Docker(Dockerfile 用了COPY --chmod,需要 BuildKit)、GitHub CLIgh。 - 账号:一个能调用 Bedrock 模型的 AWS 账号,一个你自己的 GitHub 仓库用来练手。
第一步:建集群,确认 Pod 落在 VM 里
官方博客的最短路径是 Auto Mode 集群:
eksctl create cluster --name sandbox-demo --region us-west-2 --version 1.37 --enable-auto-mode
kubectl get runtimeclass
# 应该看到 confidential-sandbox 和 isolated-sandbox 两项
然后起一个测试 Pod,唯一的改动是 runtimeClassName:
apiVersion: v1
kind: Pod
metadata:
name: hello-sandbox
spec:
runtimeClassName: isolated-sandbox
containers:
- name: hello
image: public.ecr.aws/amazonlinux/amazonlinux:2023
command: ["sh", "-c"]
args:
- |
echo "product: $(cat /sys/class/dmi/id/product_name)"
echo "disks: $(ls /sys/block | tr '\n' ' ')"
sleep infinity
kubectl apply 之后看日志。按博客给出的结果,product_name 会是带 .enclave 后缀的 8i.enclave,磁盘是 virtio 的 vda vdb vdc;同一节点上的普通 Pod 看到的则是实例自己的 nvme0n1 nvme1n1 zram0。看到这两处差别,就说明 Pod 跑进了沙箱。
第二步:给 Agent 只开三条路
示例仓库 aws-samples/sample-eks-nitro-sandbox(MIT-0 许可)的 examples/getting-started/coding-agent 目录把整套东西都备好了:Dockerfile、入口脚本、IAM 策略、ServiceAccount、出网策略和一个带已知 bug 的 Python 小项目。权限按下面三条收:
| 要访问的东西 | 怎么给 | 范围 |
|---|---|---|
| 模型(Bedrock) | EKS Pod Identity 关联 IAM 角色 | 只有 bedrock:InvokeModel*,没有长期 API key |
| 代码仓库(GitHub) | 细粒度 PAT 存成 Secret,挂成文件 | 只选一个仓库:Contents 读写、Pull requests 读写、Issues 只读,设短有效期 |
| 网络 | Auto Mode 的 ApplicationNetworkPolicy | 入站全拒;出站只放 DNS、Pod Identity 凭据地址,以及 Bedrock、github.com、api.github.com 的 443 |
建 IAM 角色和 Pod Identity 关联的命令照 README 抄:
aws iam create-role --role-name coding-agent-bedrock \
--assume-role-policy-document file://iam/pod-identity-trust.json
aws iam put-role-policy --role-name coding-agent-bedrock --policy-name bedrock-invoke \
--policy-document file://iam/bedrock-invoke-policy.json
kubectl apply -f service-account.yaml
aws eks create-pod-identity-association --cluster-name $CLUSTER_NAME --region $AWS_REGION \
--namespace $NAMESPACE --service-account coding-agent \
--role-arn arn:aws:iam::${ACCOUNT_ID}:role/coding-agent-bedrock
token 别写在命令行上,README 的做法是从标准输入读进 Secret:
read -rs GITHUB_TOKEN
printf %s "$GITHUB_TOKEN" \
| kubectl create secret generic coding-agent-git-token --from-file=token=/dev/stdin
unset GITHUB_TOKEN
入口脚本里 git 的 credential helper 每次请求时才去读这个文件,token 不会写进仓库配置或 remote URL。
第三步:打开网络策略,再应用白名单
这一步顺序很重要。EKS Auto Mode 在网络策略控制器打开之前,会接受 NetworkPolicy 对象,但不执行。所以先应用这个 ConfigMap(整个集群生效一次):
apiVersion: v1
kind: ConfigMap
metadata:
name: amazon-vpc-cni
namespace: kube-system
data:
enable-network-policy-controller: "true"
然后应用 egress-policy.yaml。核心是三段出站规则:53 端口放给任意地址做 DNS,169.254.170.23/32 的 80 端口给 Pod Identity 取凭据,443 只放三个域名。标准 Kubernetes NetworkPolicy 只能写地址,domainNames 是 Auto Mode 这个 CRD 多出来的字段。
kubectl apply -f egress-policy.yaml
until kubectl get policyendpoints -o name | grep -q '^policyendpoint.networking.k8s.aws/coding-agent-egress-'; do sleep 2; done
等到名为 coding-agent-egress-… 的 PolicyEndpoint 出现,才说明控制器已经把策略下发到节点。示例镜像的入口脚本还会自己再确认一遍:api.github.com 必须能连上,example.com 必须能解析但连不上;确认不了就等大约一分钟后拒绝运行。自己做镜像时也可以加上这段检查。
第四步:一个 issue 起一个 Pod
镜像推到 ECR、建好练手仓库和 issue 之后,fix-issue.yaml 里填上账号、仓库和 issue 号就能跑。几个关键字段:
spec:
runtimeClassName: isolated-sandbox
serviceAccountName: coding-agent
restartPolicy: Never
containers:
- name: claude
env:
- { name: CLAUDE_CODE_USE_BEDROCK, value: "1" }
- { name: AWS_REGION, value: us-west-2 }
- { name: ISSUE_NUMBER, value: "<ISSUE_NUMBER>" }
volumeMounts:
- { name: git-token, mountPath: /var/run/secrets/git, readOnly: true }
入口脚本克隆仓库后用 claude -p "$1" --allowedTools "Bash,Edit,Read,Write" 非交互运行,提示词要求先写一个能复现 bug 的失败测试,再做最小修复、跑完整测试、推到 agent/issue-<号> 分支并开 PR。Agent 没开 PR 的话,脚本会用最后一次提交说明补开一个。Pod 结束,VM 随之销毁,下一次运行拿不到上一次的任何状态。
想亲眼看白名单生效,在 Agent 还在跑的时候另开终端:
kubectl exec fix-issue-$ISSUE_NUMBER -- curl -sS -m 10 -o /dev/null https://example.com
# curl: (28) Connection timed out after 10001 milliseconds
两种模式和断网注解怎么选
| 选项 | 信任谁 | 适合 |
|---|---|---|
isolated-sandbox | 信任节点,不信任容器 | 编码 Agent、CI 构建、跑生成代码;exec 和日志都能用 |
confidential-sandbox | 连节点也不信任 | 多租户 SaaS、合规场景;拒绝 exec,镜像摘要、参数、挂载全部钉死,密钥靠 KMS 验证证明后才放 |
注解 sandbox.amazonaws.com/network-isolated: "true" | 完全不让联网 | 纯算的代码执行;VM 启动时没有网卡,Pod Identity 也没有 |
编码 Agent 要调模型、推代码,断网注解用不上,选 isolated 加出网白名单就够。confidential 模式一定要在 KMS 密钥策略里写 kms:RecipientAttestation:PCR<ID> 条件,EKS 文档特别提醒:不配这个,证明只是被记录,没人去核对。
常见坑
- 策略写了不生效。没打开
enable-network-policy-controller时,策略对象照样能 apply,只是不执行。上线前用curl example.com实际验证一次。 - Agent 拿不到 Bedrock 凭据。沙箱会把发往
169.254.170.23的凭据请求转给节点上的 Pod Identity Agent,网络策略同样管这条路。白名单里漏了这条,请求就会超时。 - 域名白名单比看上去宽。放行的是这些域名解析到的地址,同一组地址上的其他域名也能连;
github.com是整体放行,公开仓库都能读。真正限制推送和私有仓库读取的,是那个只选一个仓库的 token。 - Bedrock 域名带区域。换到
us-west-2以外的区域,记得改bedrock-runtime.<区域>.amazonaws.com。 - 沙箱不是独占 CPU。文档写明 vCPU 在同节点的沙箱之间分时共享,总分配可以超过节点 vCPU 数,排密度时按 requests 留余量。示例里 VM 按 Pod requests 定大小,里面
nproc是 2、内存约 4 GiB。
做到哪一步算完成
kubectl get runtimeclass能看到两个沙箱类,测试 Pod 日志里出现.enclave。- Agent Pod 里访问
example.com超时,访问api.github.com正常。 - 练手仓库收到
agent/issue-1分支的 PR,里面有新增测试和修复。 - Pod 结束后按 README 的清理步骤删掉 Pod Identity 关联、IAM 角色和 ECR 仓库,并在 GitHub 撤销 token。
本地机器上给 Agent 隔一台虚拟机的做法,可以对照站内的 devvm 教程;提示词注入本身怎么防,见 Agent 提示词注入防护。这次发布的要点汇总在 Nitro Sandboxes 快讯。
最后
先只做第一步:建一个 Auto Mode 集群,跑通 hello-sandbox,看到 8i.enclave 再往下接 Agent。练完记得删集群,节点和控制面都在计费。