08仿真与评测

在电脑里模拟机器人、物体和传感器怎么运动、怎么相互作用的软件。

按物理规律一步步计算物体受力、碰撞和运动的软件核心。

强化学习和机器人仿真的标准交互接口：reset 开一局，step 执行一步动作。

让策略在环境里从开始一直执行到结束，得到一整段交互轨迹。

回合结束分两种：任务本身到头叫终止，因步数上限被人为打断叫截断。

物理引擎每算一步推进的仿真时间，决定精度、稳定性和速度。

策略每出一个动作，物理引擎要跑几个仿真步；这个步数就是 decimation。

把一个仿真步再切成几段小步积分，换取更稳定、更准的物理。

仿真时间与现实流逝时间之比，衡量仿真比现实跑得快还是慢。

同时运行许多份相互独立的环境副本，一次批量收集交互数据。

在一张 GPU 上同时跑成千上万个仿真环境，把机器人训练从几天缩到几分钟。

仿真器每秒能产出多少环境步或帧，决定造数据和训练有多快

不开图形窗口运行仿真器，常用于在服务器上批量训练和采集数据。

仿真和真实世界有多像：物理上算得准不准，看起来像不像。

假设物体不会变形，只计算它们平移、转动和相互碰撞的物理仿真。

把机器人当作由关节串起来的一组刚体，计算它怎么运动、受多大力的仿真。

物理引擎描述多连杆机器人的两种方式：按关节角算，还是各刚体单独算再加约束。

物理引擎每一步找出哪些物体碰上了、碰在哪、穿进去多深。

物理引擎用来算碰撞的简化形状，通常和画面上看到的模型不是同一个。

把凹形网格切成若干近似凸块，给仿真当碰撞体用

给出空间每一点到物体表面的距离、并用正负号区分内外的函数

碰撞检测分两步：先用包围盒粗筛可能相撞的对，再精确算接触。

事先规定哪些物体之间不算碰撞，既省计算又避免不该有的接触。

按物体在一步内的运动轨迹找碰撞，防止高速物体直接穿过障碍物。

仿真或动画里本该挡住的两个物体互相穿进对方体内的错误现象。

物理引擎里规定两个物体接触时产生多大力、怎么摩擦的数学规则。

允许物体间有微小穿透、按弹簧阻尼方式产生接触力的接触建模方式

物理引擎里算接触力和关节约束力的模块，保证物体不穿透、关节不脱开。

求两组非负变量「一个为正另一个就为零」的数学问题，经典接触力求解就归结为它。

物理引擎中逐个约束迭代求解接触力、并截断到合法范围的经典方法。

物理引擎每一步反复修正接触和关节约束的轮数，越多越准也越慢

物理引擎里根据当前受力，把速度和位置往前推进一个时间步的数值方法。

物理仿真数值发散，机器人抽搐、物体乱飞，状态变成 NaN 或极大值。

模拟布、绳、海绵、面团、液体这类会变形物体的物理仿真。

在计算机里模拟布料拉伸、弯曲、褶皱和碰撞，衣物操作研究离不开它。

用数值方法在计算机里模拟水、烟等流体怎么流动、怎么受力。

把物体切成许多小单元分别近似求解、再拼成整体的数值计算方法。

直接修正物体位置来满足约束的仿真方法，稳定快速，常用于布料和软体。

用粒子携带材料状态、借背景网格计算受力的连续体仿真方法。

把流体拆成大量粒子、用邻近粒子加权求和来计算运动的无网格仿真方法

把材料当成大量独立颗粒、逐个算受力和运动的仿真方法

用障碍势能保证物体永不相互穿透的接触仿真算法，擅长软体大变形接触。

能对仿真结果求梯度的仿真器，可以直接用梯度下降优化动作或物理参数。

把三维场景算成相机图像的过程，仿真里相机类传感器的数据都靠它生成。

把三维三角形投影到屏幕并逐像素上色的渲染方法，速度快，是实时图形主流。

从相机反向追踪光线的反射、折射来生成图像的渲染方法，真实感高但慢。

用大量随机光线路径模拟光在场景里的多次反弹，渲染出物理上逼真画面的方法。

按真实光学规律建模光照和材质的渲染思路，让物体在任何光照下看起来都可信。

按真实光学规律计算画面，让仿真图像看起来像真实相机拍的照片。

一次性渲染成百上千个并行环境的相机画面，给视觉策略训练高速供图。

在仿真器里生成相机、激光雷达、IMU、力传感器等的模拟读数。

在仿真器里模拟触觉传感器读数，让带触觉的策略能在仿真中训练。

Meta 开源的视触觉仿真器，配合 PyBullet 渲染 DIGIT 等触觉图像。

用少量真实数据标定的 GelSight 视触觉传感器样例式仿真模型。

英伟达开源的 GPU 视触觉传感器仿真与策略学习库。

擅长接触模拟的开源物理引擎，由谷歌 DeepMind 维护，机器人研究常用。

用 JAX 实现的 MuJoCo，在 GPU/TPU 上批量并行仿真，可求导。

谷歌用 JAX 写的可微刚体物理引擎，附带强化学习训练库。

DeepMind 牵头的 GPU 加速机器人学习环境集，单卡快训、零样本上真机。

DeepMind 与 NVIDIA 用 Warp 重写的 GPU 版 MuJoCo，面向大批量并行。

NVIDIA 的开源实时物理引擎，Isaac Sim 和 Isaac Lab 的物理内核。

NVIDIA 2021 年推出的 GPU 强化学习仿真器，已停止支持。

英伟达基于 Omniverse 的开源机器人仿真器，物理和画面都追求高保真。

英伟达开源的 GPU 并行机器人学习框架，用来在仿真里大规模训练策略。

英伟达三套已停止维护的机器人学习框架，后来统一被 Isaac Lab 取代。

光轮智能开源的 Isaac Lab 遥操作采数框架，把 SO-101 机械臂接进 LeRobot 流程。

NVIDIA、DeepMind、迪士尼联合发起的开源 GPU 机器人物理引擎。

用 Isaac Lab 式接口加 MuJoCo Warp 物理的轻量 GPU 机器人学习框架。

2024 年底开源的多物理场 GPU 仿真平台，主打速度快、刚体软体流体统一模拟。

物理引擎 Bullet 的 Python 接口，早年机器人强化学习最常用的仿真器之一。

面向机器人与强化学习的多体物理引擎，以快速精确的接触求解著称。

UCSD 开发的机器人仿真平台，擅长抽屉、柜门这类带可动部件的铰接物体交互

UCSD 团队开发的开源机器人操作仿真框架和基准，主打 GPU 并行。

基于 MuJoCo 的模块化机器人学习仿真框架和基准，由 ARISE 计划维护。

斯坦福与 UT Austin 研究者做的演示学习框架，含标准数据集和离线学习算法。

ROS 生态里最常用的开源机器人仿真器，由 Open Robotics 维护。

瑞士 Cyberbotics 维护的开源桌面机器人仿真软件，入门友好，常用于教学。

瑞士 Coppelia Robotics 的通用机器人仿真器，前身是 V-REP

开发电子游戏的软件框架，集渲染、物理、动画于一体，也常被拿来做仿真。

基于虚幻引擎的开源自动驾驶仿真器，常用于驾驶策略的闭环测试。

用统一接口打通多款仿真器的机器人学习平台，附带合成数据集和评测基准

仿真里用的机器人、物体和场景模型，既要外观像，也要带物理属性。

由关节连接、部件能相对转动或滑动的物体，如柜门、抽屉、笔记本电脑。

英伟达提出的 3D 资产规范：模型自带物理、材质和语义标注，放进仿真即可用

用二维网格存每个点的地面高度来表示起伏地形，足式机器人训练最常用。

艾伦人工智能研究所的可交互室内 3D 仿真环境，常用于导航和家务任务研究。

用「程序」驱动虚拟人在 Unity 家庭场景里做家务的仿真平台。

Meta 开源的具身智能仿真平台，主要用于室内导航、物体重排和人机协作任务。

斯坦福推出的室内交互式仿真平台，用于家庭场景中的导航与移动操作研究。

斯坦福基于 Omniverse 的家庭场景仿真器，BEHAVIOR-1K 的底座。

上海人工智能实验室基于 Isaac Sim 的城市级具身智能仿真平台，原名 GRUtopia。

用规则加随机数自动批量造出场景、物体和地形，而不是逐个手工搭建。

艾伦 AI 研究所推出的、程序化批量生成可交互 3D 房屋的具身仿真框架。

普林斯顿开源的程序化三维世界生成器，所有资产都由随机数学规则从零生成。

用大模型自动生成仿真任务、场景和训练监督，批量产出机器人训练数据。

输入一句话描述，用 GPT-4 和 Objaverse 资产自动生成可交互的三维室内场景。

艾伦人工智能研究所开放的大规模室内仿真场景与机器人评测生态。

智元机器人开源的具身仿真平台，集场景生成、数据合成和评测基准于一体。

仿真和真实世界之间的差异，导致仿真里练好的策略上真机后变差。

把在仿真里训练好的策略搬到真机上，并让它照样能用。

把真实场景、物体和机器人复刻进仿真器，让仿真尽量贴近现实。

先把真实场景复刻进仿真，在仿真里训练或造数据，再把策略部署回真机。

在仿真里随机改变外观和物理参数，让策略把真实世界当成又一种变化。

训练时随机改变仿真里的质量、摩擦等物理参数，让策略能适应真机。

训练时随机改变仿真画面的纹理、颜色、光照和相机，让视觉策略不挑画面。

英伟达 Omniverse 里的合成数据框架，随机化仿真场景并自动输出带标注的数据。

随策略变强自动扩大随机化范围的域随机化方法，由 OpenAI 提出。

在仿真里模拟真实电机从收到指令到输出力矩的响应，缩小虚实差距。

英伟达的装配仿真与迁移方案：先把拧螺母这类接触仿真做快，再把策略搬到真机。

把在一个仿真器里训好的策略放到另一个仿真器里跑，提前暴露问题。

把真控制器或真控制代码接到仿真的被控对象上测试，是上真机前的验证手段。

与真实物体、机器人或工厂一一对应，并用真实数据保持同步的虚拟副本。

不求一比一复刻、只求几何和语义相似的仿真场景

用 3D 高斯泼溅重建真实场景来渲染画面，再配合物理引擎算运动的仿真方式。

用 3D 高斯泼溅重建真实场景、再接上物理引擎的机器人仿真器

用 3D 高斯泼溅渲染加 MuJoCo 物理的开源真-仿-真仿真框架

清华等推出的高吞吐仿真器，用批量 3D 高斯泼溅快速渲染真实感画面。

策略多次试做同一任务时成功的比例，是最常用的机器人评测指标。

把策略部署到真实机器人上反复试跑，统计成功率等指标。

把策略放进仿真环境里批量跑任务、统计成功率，代替或补充真机测试。

让策略真正控制机器人、边看边做，按任务最后有没有完成来打分。

不让策略真去控制，只在离线数据上比预测动作和演示动作差多少。

只用其他策略收集的历史数据，估计一个新策略真正部署后能拿到多少回报。

一套固定的任务、数据和评分规则，让不同方法在同样条件下比高低。

规定策略在什么条件下测、测几次、怎样算成功的一套规则

论文里拿来做对照的已有方法或简单方法，用来衡量新方法到底好多少。

某个任务或基准上当前公开报告的最好结果，常缩写为 SOTA。

去掉或替换方法里的某个组件，看性能怎么变，以判断它到底有没有用。

用统计方法判断策略之间的成功率差距是真提升还是运气。

故意改变光照、位置、物体、指令等条件，测策略离开训练环境后还剩几成本事。

按机器人完成了任务的几步来给分，而不只记成功或失败的评测指标。

策略自主运行时需要人出手接管或纠正的频率，越低说明越能独立干活。

机器人连续工作时，平均隔多久需要人来干预一次。

衡量仿真评测成绩能否反映真机表现，常用皮尔逊相关系数 r 表示。

衡量仿真评测给策略排的名次是否与真机一致的指标，越低越好。

用两两对比的胜负结果，估算每个选手或策略相对实力的打分方法。

评测者不知道谁是谁，只判断两个策略哪个更好的评测方式

主流模型在某个基准上分数都接近满分，它再也分不出方法好坏。

含 130 个桌面操作任务的仿真基准，VLA 论文最常报的榜单之一。

在 LIBERO 上加 7 类扰动、专门检验 VLA 鲁棒性的评测基准。

给 LIBERO 加物体、位置、指令、环境扰动，检验 VLA 是否在死记硬背。

照着常用真机场景复刻的仿真评测套件，用来低成本给操作策略打分。

SimplerEnv 的一种评测设置：把仿真画面做得尽量和真机相机画面一样。

SimplerEnv 的评测方式之一：在多个视觉变体场景里测策略再取平均。

考机器人能否连续听懂并完成 5 条语言指令的桌面操作仿真基准。

CALVIN 评测里策略平均能连续完成几条指令，满分 5。

伦敦帝国理工推出的 100 个机械臂操作任务仿真基准，基于 CoppeliaSim。

基于 RLBench 的仿真基准，分四级测语言操作策略对新任务的泛化能力。

在 RLBench 任务上系统施加 14 类环境扰动，测操作策略泛化能力的基准。

用圆形推头把 T 形块推到目标位姿的二维任务，常用来测模仿学习策略。

ACT 论文在 MuJoCo 里搭的两个双臂仿真任务：交接方块和空中插销。

港大、上海 AI 实验室等推出的双臂操作仿真数据生成器与评测基准。

含 50 个机械臂操作任务的仿真基准，用来测多任务和元强化学习。

MuJoCo 厨房场景，Franka 机械臂按顺序完成开微波炉、挪水壶等子任务。

在 MuJoCo 中控制 24 自由度仿真五指手完成开门、敲钉等四项任务的基准。

北京大学团队基于 Isaac Gym 的双 Shadow 灵巧手强化学习基准。

基于英伟达 FleX 的柔性物体操作仿真基准，包含布料、绳子和液体任务

用图文交错的多模态提示描述任务的桌面操作仿真基准，带四级泛化测试。

上海 AI 实验室基于 Isaac Sim、用大模型自动造任务的操作仿真评测平台。

在 Isaac Sim 中考察机器人按语言把物体操作到指定连续状态的基准。

复旦发布的语言条件操作基准，侧重常识、隐含意图和长程多步推理。

评测机器人长程操作中规划、反思与记忆能力的大规模仿真基准。

专测机器人记忆能力的桌面操作基准，任务要求记住被遮挡或已消失的信息。

北大团队的开源 VLA 评测框架，按任务、语言、视觉三条轴分级测能力边界。

英伟达开源的 Isaac Lab 扩展，用来组合搭建仿真基准、并行评测机器人策略。

光轮智能推出、专门评测 VLA 等机器人基础模型的工业级仿真评测平台。

UT Austin 做的大规模厨房家务仿真框架与基准，最新版叫 RoboCasa365。

斯坦福做的 1000 个日常家务任务仿真基准，跑在 OmniGibson 上。

让机器人在没见过的房子里找到任意指定物体，并放到指定家具上的评测基准。

让智能体按自然语言指令在仿真家庭里完成多步家务的基准。

把 ALFRED 家务任务同步做成文字游戏，可先在文字里学、再到画面中执行。

视觉语言导航最常用的基准：照着人写的路线说明在陌生房屋里走到终点。

视觉语言导航的三项基本指标：停下时离目标多远、途中是否到过目标、一共走了多远。

导航评测指标：既看有没有到达目标，也看走的路是否接近最短路径。

衡量智能体路线与参考路线在形状和顺序上有多贴合的导航指标，取值 0 到 1。

Meta 推出的具身问答基准，考智能体能否凭对真实环境的观察用自然语言答题。

谷歌 DeepMind 发布的 400 道具身推理图文选择题基准

评测多模态大模型当具身智能体大脑能力的基准，含 4 个环境

统一接入具身问答、导航、任务规划基准并实时排榜的评测平台

用雅达利 2600 游戏测试强化学习的标准平台；Atari 100k 是小样本版。

基于游戏《我的世界》搭建的开放世界智能体训练与评测平台。

Gymnasium 里基于 MuJoCo 的一组经典连续控制环境，强化学习论文的常用考题。

DeepMind 基于 MuJoCo 的连续控制强化学习标准任务集

离线强化学习领域最常用的标准数据集和评测基准

专门考离线目标条件强化学习算法的基准，含 8 类环境、85 个数据集。

ETH 开源的足式机器人强化学习训练环境，基于 Isaac Gym。

宇树官方开源的强化学习运控示例框架，覆盖仿真训练到真机部署。

基于 Isaac Lab 的开源库，内置多款四足、轮足和人形机器人的强化学习训练环境

星动纪元开源的人形机器人强化学习行走训练框架，主打零样本仿真到真机。

英伟达开源的、用 GPU 仿真训练数字人和人形机器人运动技能的框架。

伯克利等推出的仿真人形机器人基准，含 27 个全身运动与操作任务。

基于 MuJoCo 的全身运动模仿学习基准，含人形、四足和人体肌骨模型。

预测关节位置与真值的平均距离，衡量姿态估计或动作跟踪有多准。

KAIST 等提出的可复现真机家具组装基准，考长程、精细的机器人操作。

伯克利搭建的全天候无人值守真机评测系统，自动判成败、自动复位。

多个实验室分布式做真机双盲对比，再汇总成排名的通用机器人策略评测平台。

原力灵机与 Hugging Face 办的真机在线评测平台，首个基准叫 Table30。

统一仿真与真机的通用操作策略评测基准，含 42 个仿真和 18 个真机任务。

把真实机器人视频自动转成仿真场景，再靠打分和人类投票给 VLA 排名的评测基准

用神经网络从数据里学出来的模拟器，代替手写物理方程预测下一步。

用可交互的视频世界模型代替真机，闭环推演策略来估计它的表现。

用视频世界模型代替真机跑推演，给机器人策略打分和排名的评测方法。

衡量一批生成图像与真实图像在整体分布上有多接近的指标，越低越好。

衡量一批生成视频与真实视频整体有多像的指标，数值越低越好。

衡量生成图和参考图有多像的三项常用指标，越往后越贴近人眼感受。

把视频生成质量拆成 16 个维度分别打分的开源评测基准。

斯坦福的世界生成统一评测，让 3D、4D 场景生成和视频模型用同一把尺子比。

用真实拍摄的视频检验视频生成模型是否真懂物理规律的基准。

智元等提出的基准，专门评测机器人操作视频生成模型生成得对不对。

清华牵头的具身世界模型基准，同时考生成画面质量和对下游任务的实际用处。