uni-robot-agent 是什么:开源模型的机器人 Agent 套件

uni-robot-agent 是清华大学与加州大学伯克利分校团队(Open-RUA)开源的「机器人使用 Agent」统一 harness:一套工具语义对接仿真与真机,支持 Codex / Claude Code 等 Agent 运行时,并面向论文设定的 RGB-only(无深度、无任务判定器反馈给 Agent)场景。MIT 许可。截至 2026-11-06(北京时间)GitHub 248 星,PyPI / 标签最新 v0.1.1。本文按仓库 README、项目页与 arXiv:2611.01560 做文档综述;box 上无法跑机器人 GPU 仿真,运行时标未实测。
它是什么
仓库开篇把定位写成:跨环境的统一 robot-use Agent harness。论文标题是 Democratizing Robot-Use Agents: A Unified Harness with Open Models(arXiv:2611.01560,2026)。项目页强调:先把「没有特权信息也能有效交互」的 harness 立住,再谈开源模型的具身训练。
| 仓库 | github.com/Open-RUA/uni-robot-agent |
|---|---|
| 作者 | Open-RUA(论文署名含 Yuan, Jiarui 等;机构页署 Tsinghua University & UC Berkeley) |
| 许可证 | MIT(上游 RoboDojo 集成、字体与外部模型另有各自许可,见仓库 NOTICE / UPSTREAM_LICENSE) |
| 热度 | GitHub 248 星(GitHub API,2026-11-06 约 18:45 北京时间) |
| 运行要求 | Python 3.11 虚拟环境;文档要求 Linux GPU 主机;需 Responses 兼容视觉模型端点与 API Key |
| 最新版本 | v0.1.1(GitHub tag / PyPI uni-robot-agent;修复全新 RoboDojo 安装、隔离仿真依赖与自动机器人配置) |
解决什么问题
通用大模型已经能在机器人任务上做零样本规划,但研究侧常缺一层「可复用、可换模型/换环境」的交互外壳:工具参数不一致、仿真特权信息(深度、任务判定器)泄漏到真机不可用、串行等机械臂会拖垮大规模采数。uni-robot-agent 用共享工具接口 + 环境适配器,把观测与执行回执收成统一记录,方便以后做开源模型的 agentic 训练。
官方四条原则:
- Unified:跨环境共用工具与反馈;原生 API 由适配器消化。
- Efficient:Agent 推理可与工具执行重叠;共享机器人资源的操作仍保序。
- Realistic:支持论文 RGB-only 设定——可用本体感觉、标定与机器人描述,但不把仿真深度或任务判定器结果喂给 Agent。
- Modular:运行时、模型提供方、工具、环境、模型服务均可经显式接口替换。
项目页给出的部分论文数字(官方自评,协议见原文):RoboDojo 上 Qwen3.8-Flash-Next 达 31.39 Score / 25.00% 成功率;GPT-6 Astra 达 51.90 Score。真机 19 项任务上,Qwen 零样本总分 53.50(该对比中其 Agent 使用传感器深度;基线 π₀.₅ / Dream-1 为 RGB-only)。同模型换 harness(RoboProbe → uni-robot-agent)在 RoboDojo 上 Score 从 1.90 提到 31.39。引用时请回论文表格与脚注,勿脱离协议横比。
怎么用
# 1. 安装并准备 RoboDojo(文档:Linux GPU + Python 3.11)
pip install uni-robot-agent # 或:uv pip install uni-robot-agent
uni-robot-agent setup --integration robodojo
# 2. 配置视觉模型(Responses 兼容端点)
export UNI_ROBOT_AGENT_API_KEY='YOUR_API_KEY'
export UNI_ROBOT_AGENT_PROVIDER_URL='https://provider.example/v1'
# 3. 跑一个任务(示例)
uni-robot-agent run --integration robodojo --deploy local \
--task stack_bowls --model YOUR_MODEL_ID \
--action-profile direct --no-sam3 --output-dir ./runs --monitor
# 4. 回放 / 浏览 runs
uni-robot-agent monitor --run-dir ./runs
Python SDK 可对已启动的环境建会话(与 CLI 共用 API Key):
from uni_robot_agent import AgentConfig, SessionConfig, run
result = run(SessionConfig(
integration="robodojo",
env_url="http://127.0.0.1:18760",
no_sam3=True,
agent=AgentConfig(
model="YOUR_MODEL_ID",
provider_url="https://provider.example/v1",
),
output_dir="runs",
))
print(result.agent_finished, result.task_success, result.session_dir)
agent_finished 记 Agent 是否跑完;task_success 是环境回报,拿不到则为 None。自定义策略可走 Session.tools。加 --monitor 会打印本地 Dashboard URL,看相机流、工具调用与时序,无需另编前端。
仿真集成一览(README):
| 集成 | 环境 / 任务 |
|---|---|
| RoboDojo | 双臂操作;Direct 工具或 Hybrid Pi0.5 |
| RoboUse | 选自 LIBERO、RoboCasa、MetaWorld、RoboSuite、ManiSkill 等 |
| RoboLab | 需另备 Isaac Sim / Isaac Lab 的单 DROID 任务 |
RoboDojo 默认开深度;论文 RGB-only 请加 --no-depth,并保留相机标定。细节见仓库 docs/architecture.md 与 docs/integrations.md。
实测
未实测(运行时)。本机 box 无机器人 GPU 仿真与 Isaac / RoboDojo 所需显卡环境,未执行 setup / run。上文命令、环境变量与信息表数字均摘自 README、PyPI、GitHub API 与 openrua.ai 项目页(抓取时间见上)。若你本地有 Linux GPU,按 Quick start 跑通后,可用 Dashboard 核对工具调用是否按资源排队、RGB-only 开关是否生效。
适合谁 / 不适合谁
- 适合:做 robot-use / 具身 Agent 研究,需要统一工具语义采轨迹;想在 RoboDojo 一类基准上对比开源模型 harness;已有 Responses 兼容视觉端点。
- 不适合:只想在笔记本 CPU 上「玩一下」双臂仿真;需要开箱即用的真机驱动(文档标明真机流程尚未公开);不接受再配仿真依赖与 GPU 主机。
- 替代方向:各基准自带评测脚本、厂商 VLA 栈、或站内通用 Agent 外壳如 OpenAgentCore / agents-cli(它们不覆盖机械臂工具层)。
最后
先读项目页 TL;DR 与仓库 Quick start,在 GPU 主机上 pip install + setup --integration robodojo,用 --no-depth --monitor 跑一个短任务并打开 Dashboard。要把结果写进论文或对比表时,直接引用 arXiv:2611.01560 的协议与表格,不要只抄总分。