如果你正在评估通用机器人策略、VLA 模型或机械臂 agent，不要只问“成功率是多少”。上线前至少要回答 7 个问题：
- 测试集有没有和训练环境视觉重叠？
- 任务集会不会已经被模型“刷满分”？
- 成功率有没有置信区间？
- 失败时能不能定位到错抓、掉落、碰撞或错误步骤？
- 语言指令变模糊、变详细或换说法后，性能掉多少？
- 场景更乱、干扰物更多、任务步骤更长后，性能掉多少？
- 轨迹是否足够短、平滑、可接受，而不是“撞来撞去但最终成功”？
本文基于 NVIDIA Developer Blog 在 2026-07-11 发布的 RoboLab 评估方法（来源：NVIDIA 技术博客，本文核验于 2026-07-14）。NVIDIA 把 RoboLab 定位为面向真实部署的机器人策略模拟评估平台，目标是解决现有 benchmark 的视觉/任务重叠、任务集饱和、诊断不足和统计可信度不足。NVIDIA 还写明，RoboLab 研究会支持开源的 NVIDIA Isaac Lab-Arena，关键功能计划在 2026 年 8 月产品化。
本文只整理评估流程，不假设 RoboLab 或 Isaac Lab-Arena 已经适合所有生产机器人系统。
谁需要这套评估
这篇适合三类团队：
| 你在做什么 | 为什么需要 |
|---|---|
| 训练或微调机器人 foundation model / VLA policy | 静态 benchmark 分数可能掩盖泛化失败 |
| 把机械臂、移动机器人或 humanoid policy 放进真实环境 | 真机测试贵、慢、难复现，必须先用高质量模拟筛风险 |
| 采购或评估第三方 robot policy | 供应商给一个成功率不够，你需要可复查的诊断指标 |
如果你只是做普通文本、图像、代码 agent，这篇不是优先阅读对象。但它的评估原则可以迁移：不要只看总分，要看覆盖范围、失败类型、置信区间和真实任务复杂度。
为什么成功率不够
NVIDIA 在文章里指出，机器人策略评估至少有四个常见问题。
| 问题 | 风险 | 评估时怎么补 |
|---|---|---|
| 训练和评估视觉环境重叠 | 分数可能只是记住了模拟场景，不代表能泛化到真实环境 | 使用更高真实感或不同来源的模拟场景，避免训练/测试共享同一视觉分布 |
| 固定 benchmark 饱和 | 所有模型都接近满分后，分数失去区分度 | 持续生成新任务，淘汰过时任务 |
| 二元成功/失败太粗 | 不知道失败是语言理解、感知、抓取、碰撞还是步骤顺序问题 | 记录分步得分、轨迹质量和失败事件 |
| rollout 数太少 | 一个成功率数字没有统计可信度 | 报告置信区间，不只报均值 |
NVIDIA 举了一个统计例子：如果观察到 90% 成功率，只有 70 次 rollout 时，95% Clopper-Pearson 置信区间跨度可达 15.4 个百分点；要收紧到约 ±2 个百分点，需要约 1,030 次 rollout。这个例子不能直接套到每个任务，但它说明一件事：小样本成功率不适合做上线决策。
先定义任务覆盖，而不是先跑模型
RoboLab 的一个关键做法是 capability-tagged tasks。NVIDIA 把通用操作能力拆成至少三类：
| 能力 | 测什么 | 示例任务 |
|---|---|---|
| Visual | 颜色、大小、语义类别识别 | 把小红杯放进盒子 |
| Procedural | 堆叠、重定向、工具可用性、动作步骤 | 把杯子翻正并把红色杯子堆到架子上 |
| Relational | 空间关系、计数、并列/选择关系 | 拿橙子或青柠，放进碗里 |
你的第一版评估表可以这样建：
| 维度 | 最小覆盖要求 |
|---|---|
| 物体类别 | 训练中常见物体 + 真实环境关键物体 + 干扰物 |
| 视觉属性 | 颜色、大小、形状、材质、相似物体 |
| 指令类型 | 明确指令、模糊指令、过度详细指令、同义改写 |
| 操作类型 | pick、place、sort、stack、open/close、tool use |
| 空间关系 | left/right、inside/outside、near/far、on/under |
| 任务长度 | 单步、2-4 步、长步骤链 |
| 场景复杂度 | 干净桌面、少量干扰物、拥挤场景、视觉噪声 |
不要把所有任务混成一个总成功率。至少按能力标签分别看结果，否则你无法知道模型到底弱在视觉识别、语言理解还是动作控制。
指标至少分四层
上线前评估可以按四层记录。
1. 二元成功率
仍然要记录成功/失败，因为它最容易和业务目标绑定。但每个成功率都要带上：
- rollout 数
- 随机种子或场景变体数量
- 置信区间
- 任务标签
- 机器人 embodiment / policy 版本
不要比较两个只差 2-3 个百分点、但置信区间大量重叠的模型。
2. 分步得分
NVIDIA 的 RoboLab 使用 graded task scores，让多步骤任务可以拿部分分。这个比二元成功更有诊断价值。
例子：
| 任务 | 二元结果 | 分步解释 |
|---|---|---|
| 拿起正确物体但放错位置 | 失败 | 感知和抓取通过，放置或空间关系失败 |
| 完成目标但多拿了一个干扰物 | 成功或部分成功 | 任务目标达成，但存在错误对象操作 |
| 前两步正确，第三步顺序错 | 失败 | 长程步骤保持能力不足 |
分步得分的价值是告诉团队下一步该改数据、改 planner、改 language grounding，还是改低层控制。
3. 轨迹质量
NVIDIA 文章提到 RoboLab 会测 path length 和 SPARC（Spectral Arc-Length）这类运动平滑指标，也会关注 end effector velocity。原因很现实：机器人“完成任务”不等于适合上线。
上线前至少看：
- 路径是否明显绕远
- 动作是否抖动、急停、来回试探
- 是否接近碰撞边界
- 是否以不可接受的速度移动
- 是否频繁重新抓取或调整
在仓库、工厂、医院、家庭场景里，轨迹质量往往和安全、磨损、能耗、用户信任直接相关。
4. 失败事件日志
NVIDIA 强调 failure event logging：自动记录 wrong-object grasps、dropped objects 和 gripper collisions，并定位到 episode 中具体帧。你也应该建立类似事件表。
| 事件 | 要记录 |
|---|---|
| 抓错对象 | 指令、目标对象、被抓对象、视觉相似点 |
| 掉落 | 抓取姿态、速度、物体材质、掉落时间 |
| 碰撞 | 碰撞对象、机器人部位、场景布局 |
| 步骤遗漏 | 预期子任务、实际动作序列 |
| 过度操作 | 多拿、多放、重复执行 |
| 语言误解 | 原始指令、替代表述、失败差异 |
这张表比“失败了 12 次”更有用。它能直接指导数据补充和策略修复。
三类复杂度必须单独测
真实部署不会给你干净桌面和标准句式。NVIDIA 文章把复杂度拆成语言、场景和任务长度三类，这个拆法可以直接采用。
语言复杂度
同一个任务至少写三种指令：
| 类型 | 示例 |
|---|---|
| 明确 | 把 3 根香蕉都从盒子里拿出来 |
| 模糊 | 清理盒子里的水果 |
| 过度详细 | 先看盒子内部，找到所有黄色长条水果，然后逐个取出并放到桌面左侧 |
NVIDIA 在初始 benchmark 中提供 vague、default 和 specific 三种指令变体，并观察到当前模型对模糊说法仍然脆弱，有时过多细节也会降低表现。你的评估也应记录：模型是听不懂目标，还是被细节带偏。
场景复杂度
同一任务至少跑三类场景：
- 无干扰物
- 少量相似干扰物
- 拥挤、遮挡或视觉噪声场景
如果模型只在干净桌面成功，不能直接进入真实环境。
任务长度
短任务和长任务分开统计：
| 任务长度 | 看什么 |
|---|---|
| 单步 | 感知、抓取、放置基础能力 |
| 2-4 步 | 子任务顺序、状态保持、错误恢复 |
| 长步骤链 | 早期小错误是否级联成整体失败 |
NVIDIA 文章提到，大多数 policy 在 long-horizon tasks 上仍然困难，并观察到没有 policy 能成功完成超过 4 个复杂子任务。这个结论来自其文章语境，不应直接外推到所有系统；但它足以提醒团队：长任务必须单独评估。
做敏感性分析，而不是凭感觉猜
部署前常见争论是：“是不是摄像头角度导致失败？”“是不是光照？”“是不是桌面太乱？”如果每个变量单独跑一遍，组合数量会爆炸。
NVIDIA 的方法是同时跑很多 scene variations，再用 sensitivity analysis 找出哪些环境变量最影响成功或失败，并在文章中提到用 Neural Posterior Estimation（NPE）估计变量与结果的关系。
实际团队可以先做简化版：
| 变量 | 取值示例 |
|---|---|
| 摄像头角度 | 正面、侧面、高角度 |
| 光照 | 明亮、阴影、反光 |
| 干扰物数量 | 0、3、8 |
| 目标物位置 | 中央、边缘、遮挡 |
| 指令风格 | 明确、模糊、详细 |
| 任务长度 | 1 步、3 步、5 步 |
每次 rollout 都记录这些变量。即使不马上上 NPE，也能先用分组统计找出明显薄弱点。
一个两周评估计划
第一轮不要追求大而全。目标是证明评估体系能发现问题。
| 阶段 | 动作 | 产物 |
|---|---|---|
| 第 1-2 天 | 选 20-40 个代表性任务，打 visual / procedural / relational 标签 | 任务表和标签分布 |
| 第 3-4 天 | 为每个任务写 3 种语言变体，准备 2-3 类场景复杂度 | 指令集和场景集 |
| 第 5-7 天 | 跑初始 rollout，记录成功率、分步得分、失败事件和轨迹指标 | 基线报告 |
| 第 8-9 天 | 增加 rollout 数，给关键任务补置信区间 | 可信度报告 |
| 第 10-11 天 | 对失败高发任务做变量分组或敏感性分析 | 失败原因假设 |
| 第 12-14 天 | 决定修数据、修 policy、改任务边界，或禁止上线某些场景 | 部署门禁清单 |
上线门禁可以写得很具体：
- 关键任务成功率达到内部阈值，并报告置信区间。
- 高风险失败事件低于阈值，例如碰撞、掉落、抓错危险物体。
- 模糊指令失败时能触发澄清，而不是盲目执行。
- 长任务失败能安全停止。
- 场景复杂度提升后，性能下降在可接受范围内。
- 人能复查失败帧、轨迹和变量记录。
常见错误
只看榜单成功率
榜单分数适合筛模型，不适合决定上线。上线决策需要你的任务、你的机器人、你的场景、你的风险阈值。
把模拟成功当真机成功
模拟是必要代理，但不是最终答案。NVIDIA 文章也把模拟评估定位为真实部署前的大规模诊断路径，不是替代真实验收。
任务集长期不更新
模型一旦把固定任务集刷满分，benchmark 就失去区分度。每次模型升级、硬件变化或部署场景变化，都要补新任务。
不记录失败上下文
没有失败事件和帧级记录，团队只能猜。至少记录错抓、掉落、碰撞、步骤遗漏和语言误解。
rollout 太少就比较模型
如果样本数少，两个模型差几个百分点没有意义。先看置信区间，再判断差异是否足够大。
FAQ
RoboLab 是什么？
按 NVIDIA 2026-07-11 技术博客，RoboLab 是 NVIDIA Research 开发的模拟机器人策略评估平台，目标是支持 robot-agnostic tasks、快速生成新任务、分步诊断、失败事件记录和复杂度分析。NVIDIA 写明，RoboLab 研究会支持开源的 NVIDIA Isaac Lab-Arena，关键功能计划在 2026 年 8 月产品化。
现在可以把 RoboLab 当生产评估工具吗？
不要直接这样假设。NVIDIA 文章提供了网站、论文和 GitHub 代码，并说明关键功能计划进入 Isaac Lab-Arena。你可以先把它当研究和评估方法参考；是否进入生产流程，要看代码成熟度、你的机器人栈和内部验证。
为什么要用 Clopper-Pearson 置信区间？
因为机器人 rollout 的成功/失败可以看成二项结果。Clopper-Pearson 给成功率一个置信区间，能避免把小样本偶然结果误读成真实能力。NVIDIA 文章用 90% 成功率示例说明，70 次 rollout 的不确定性仍然很大。
评估任务应该人工写，还是用 agent 生成？
两者都可以。NVIDIA 文章写到 RoboLab 支持 coding agent 用 agent skills 在工作流里生成新任务。但关键任务和高风险场景仍应由工程师审查，避免生成任务偏离真实部署。
这篇和普通 AI Agent 评估有什么关系？
原则相通：不要只看总成功率，要看任务覆盖、分步表现、失败原因、置信区间和真实复杂度。区别是机器人还要额外看轨迹质量、碰撞、掉落、速度和真实物理环境变量。