项目2026-11-06 · 智涌AI

uni-robot-agent 是什么:开源模型的机器人 Agent 套件

uni-robot-agent 头图:流程图展示 Agent、Tools、Adapter、Evidence 四步,标注 v0.1.1、MIT 与 248 星

uni-robot-agent 是清华大学与加州大学伯克利分校团队(Open-RUA)开源的「机器人使用 Agent」统一 harness:一套工具语义对接仿真与真机,支持 Codex / Claude Code 等 Agent 运行时,并面向论文设定的 RGB-only(无深度、无任务判定器反馈给 Agent)场景。MIT 许可。截至 2026-11-06(北京时间)GitHub 248 星,PyPI / 标签最新 v0.1.1。本文按仓库 README、项目页与 arXiv:2611.01560 做文档综述;box 上无法跑机器人 GPU 仿真,运行时标未实测。

它是什么

仓库开篇把定位写成:跨环境的统一 robot-use Agent harness。论文标题是 Democratizing Robot-Use Agents: A Unified Harness with Open Models(arXiv:2611.01560,2026)。项目页强调:先把「没有特权信息也能有效交互」的 harness 立住,再谈开源模型的具身训练。

仓库github.com/Open-RUA/uni-robot-agent
作者Open-RUA(论文署名含 Yuan, Jiarui 等;机构页署 Tsinghua University & UC Berkeley)
许可证MIT(上游 RoboDojo 集成、字体与外部模型另有各自许可,见仓库 NOTICE / UPSTREAM_LICENSE)
热度GitHub 248 星(GitHub API,2026-11-06 约 18:45 北京时间)
运行要求Python 3.11 虚拟环境;文档要求 Linux GPU 主机;需 Responses 兼容视觉模型端点与 API Key
最新版本v0.1.1(GitHub tag / PyPI uni-robot-agent;修复全新 RoboDojo 安装、隔离仿真依赖与自动机器人配置)

解决什么问题

通用大模型已经能在机器人任务上做零样本规划,但研究侧常缺一层「可复用、可换模型/换环境」的交互外壳:工具参数不一致、仿真特权信息(深度、任务判定器)泄漏到真机不可用、串行等机械臂会拖垮大规模采数。uni-robot-agent 用共享工具接口 + 环境适配器,把观测与执行回执收成统一记录,方便以后做开源模型的 agentic 训练。

官方四条原则:

项目页给出的部分论文数字(官方自评,协议见原文):RoboDojo 上 Qwen3.8-Flash-Next 达 31.39 Score / 25.00% 成功率;GPT-6 Astra 达 51.90 Score。真机 19 项任务上,Qwen 零样本总分 53.50(该对比中其 Agent 使用传感器深度;基线 π₀.₅ / Dream-1 为 RGB-only)。同模型换 harness(RoboProbe → uni-robot-agent)在 RoboDojo 上 Score 从 1.90 提到 31.39。引用时请回论文表格与脚注,勿脱离协议横比。

怎么用

# 1. 安装并准备 RoboDojo(文档:Linux GPU + Python 3.11)
pip install uni-robot-agent   # 或:uv pip install uni-robot-agent
uni-robot-agent setup --integration robodojo

# 2. 配置视觉模型(Responses 兼容端点)
export UNI_ROBOT_AGENT_API_KEY='YOUR_API_KEY'
export UNI_ROBOT_AGENT_PROVIDER_URL='https://provider.example/v1'

# 3. 跑一个任务(示例)
uni-robot-agent run --integration robodojo --deploy local \
  --task stack_bowls --model YOUR_MODEL_ID \
  --action-profile direct --no-sam3 --output-dir ./runs --monitor

# 4. 回放 / 浏览 runs
uni-robot-agent monitor --run-dir ./runs

Python SDK 可对已启动的环境建会话(与 CLI 共用 API Key):

from uni_robot_agent import AgentConfig, SessionConfig, run

result = run(SessionConfig(
    integration="robodojo",
    env_url="http://127.0.0.1:18760",
    no_sam3=True,
    agent=AgentConfig(
        model="YOUR_MODEL_ID",
        provider_url="https://provider.example/v1",
    ),
    output_dir="runs",
))
print(result.agent_finished, result.task_success, result.session_dir)

agent_finished 记 Agent 是否跑完;task_success 是环境回报,拿不到则为 None。自定义策略可走 Session.tools。加 --monitor 会打印本地 Dashboard URL,看相机流、工具调用与时序,无需另编前端。

仿真集成一览(README):

集成环境 / 任务
RoboDojo双臂操作;Direct 工具或 Hybrid Pi0.5
RoboUse选自 LIBERO、RoboCasa、MetaWorld、RoboSuite、ManiSkill 等
RoboLab需另备 Isaac Sim / Isaac Lab 的单 DROID 任务

RoboDojo 默认开深度;论文 RGB-only 请加 --no-depth,并保留相机标定。细节见仓库 docs/architecture.md 与 docs/integrations.md。

实测

未实测(运行时)。本机 box 无机器人 GPU 仿真与 Isaac / RoboDojo 所需显卡环境,未执行 setup / run。上文命令、环境变量与信息表数字均摘自 README、PyPI、GitHub API 与 openrua.ai 项目页(抓取时间见上)。若你本地有 Linux GPU,按 Quick start 跑通后,可用 Dashboard 核对工具调用是否按资源排队、RGB-only 开关是否生效。

适合谁 / 不适合谁

最后

先读项目页 TL;DR 与仓库 Quick start,在 GPU 主机上 pip install + setup --integration robodojo,用 --no-depth --monitor 跑一个短任务并打开 Dashboard。要把结果写进论文或对比表时,直接引用 arXiv:2611.01560 的协议与表格,不要只抄总分。

关注公众号「智涌AI速递」

每天的 AI 快讯、实用教程和 AI项目实测,也会同步发到微信公众号。在微信里搜索「智涌AI速递」就能关注;不用微信的话,可以用 RSS 订阅本站。