简介面向机器人学习、强化学习与仿真方向的工程师和研究者这份三十二篇合集把散落在多篇技术推送中的知识点系统归拢覆盖MuJoCo机器人建模全流程从ROS的URDF文件准备、DAE与STL网格转换、XML编译标签选项到平衡惯量参数排错、碰撞与视觉网格切换并延伸至Sim2Real迁移、深度强化学习自动驾驶综述、水下软体机器人PPO训练等实践案例适合希望快速建立机器人学习整体认知的入门与进阶读者。整个压缩包仅含一个PDF文件大小约6.92MB可离线阅读目录按三十二篇专题组织结构清晰便于按需检索已有二百三十四人浏览学习。对想深入定制机器人模型、或了解主流仿真工具链的人来说这一册既是一份建模排错参考也是一份仿真到现实与强化学习应用专题索引值得反复查阅。1. Robot Learning 知识库到底在解决什么同样是训一个机械臂抓取有人三天跑通有人卡在数据格式上两周。差距不在模型而在对 Robot Learning 链路里几十个不起眼却致命的细节。所谓 32 实用知识库就是把感知、数据、策略、仿真、部署这条长链路的经验压成 32 个可检索条目当排错手册和参数速查用。它不是论文摘要也不是课程笔记而是照着做就能少踩坑的实验路径规划。每条知识对应一个真实翻车点或必调参数比如观测空间定义、数据采集时间戳对齐、验证集切分方式。适合手里已有机器人硬件或仿真环境、准备动手做策略学习但不想把时间耗在弯路上的从业者也适合从 CV 或 NLP 转过来、需要快速补齐机器人常识的工程师。2. 拆解 32 条知识条目从状态表示到部署评估2.1 感知与状态表示前 10 条为什么是整条链路的地基在 Robot Learning 里模型通常不背锅背锅的往往是观测定义。前 10 条知识几乎全在回答一个问题怎么把真实世界变成模型能稳定吃的张量。最典型的一个坑训练时 obs 是 dict包含 image、joint_pos、gripper_state 三个键部署脚本却只喂了 image。模型从没见过缺关节角度的输入上线自然乱动。所以知识库的第一梯队一定是固定观测空间包括键名、维度、数值范围、归一化方式。观测定义一旦改动之前采的数据基本作废这是很多人一开始不愿接受的事实。这一组里还有几条容易被当玄学跳过的条目。相机标定和手眼标定的执行顺序决定了坐标变换对不对先采数据再标定回头发现要全部重采。深度图在透明和反光物体上一定会出现空洞知识库一般给出的解法是换点云输入或加语义掩膜而不是调深度相机的参数硬刚。关节角度用弧度还是度直接决定网络里数值的尺度同一条 1e-4 的学习率在度制下可能直接发散。还有两条和时序相关。历史帧堆叠解决的是单帧观测没有速度信息的问题抓取这种快动作任务堆 4 帧起步慢速插拔类任务 2 帧就够。帧率同步则是另一个隐蔽杀手观测 30Hz、控制 10Hz采集时不打统一时间戳训练数据里 obs 和 action 天生错位模型学到的映射关系是错的后面怎么调都救不回来。这一组内部有强依赖关系我一般按顺序过一遍先统一坐标系再标定再定观测空间最后才对帧率。顺序反了返工成本翻倍。前 10 条全部落实之后才有资格进入数据和策略阶段。把它们整理成速查表条目核心问题一句话结论观测空间dict 还是 vector全链路统一键名和维度不许偷改归一化各模态量纲差异弧度、力、图像 0-1 分开处理手眼标定camera 到 base 的变换先标定再采数据别指望事后补深度 vs 点云透明/反光物体深度不可靠时换点云或加掩膜历史帧堆叠单帧缺速度信息堆 2-4 帧起步动作快就多堆坐标系base/tool/camera统一到 base 系记录变换矩阵帧率同步obs 与 action 错位用同一时钟打时间戳对不齐就重采提示观测空间是整份知识库里牵一发动全身的部分。后面 22 条全建立在它之上改一条等于重来。2.2 数据采集与策略学习中间 12 条决定训练能否收敛中间 12 条是知识库的主食覆盖数据来源、动作空间、算法选择和 reward 设计也是争议最大的部分因为每一条都依赖你的具体任务。数据来源上遥操作和脚本策略各有适用边界。遥操作数据质量高但量少一条抓取任务最少也要 200 条有效演示才够行为克隆起步少于这个数模型基本是在背题。脚本策略能批量生成但分布单一策略很容易学到只会从正中间往下抓这种脆弱动作。知识库通常给的解法是混合采集70% 脚本数据打底30% 遥操作数据负责把分布边缘补齐这个比例在接触类任务上表现最稳。动作空间的选择常常被新手忽略。关节位置增量比绝对位置更容易学因为增量动作的数值范围小且平稳绝对位置动作要求模型直接输出目标构型对观测误差更敏感。末端位姿作为动作空间的坑在于需要额外解逆运动学奇异位形附近动作会突变。我的习惯是优先关节增量遇到多解任务再换末端空间。算法选型上diffusion policy 这类生成式策略是当前主流。它比直接回归动作更稳因为动作分布是多峰的同一个观测下从左边抓和从右边抓都合理回归模型只能取平均取出来的动作往往是两个方案的中间值直接导致抖动。diffusion policy 用去噪过程建模整个分布天然避开这个问题。代价是推理要多步采样实时性要单独评估不能只看训练指标。reward 设计是 RL 路线最容易翻车的地方。稀疏 reward 难收敛密集 reward 又容易让策略钻空子比如惩罚末端远离目标会被策略学成手臂一直往回缩。知识库一般建议先试稀疏 reward 加 shaped 辅助项辅助项只给阶段性信号比如到达抓取点 1 分不给连续距离惩罚。数据增强也要区分场景视觉扰动在真实感强的仿真里收益明显在抽象仿真里反而会让策略忽略视觉特征。2.3 仿真、部署与评估最后 10 条决定模型能否出实验室最后的 10 条讲的是出了训练环境怎么办这是知识库里最功利也最容易被略读的部分。仿真器选型上MuJoCo 适合接触丰富的操作任务接触求解精度高但单环境速度一般Isaac Gym 系列适合大规模并行强化学习一张卡能同时跑几千个环境缺点是物理引擎偏硬接触参数要额外调。知识库的建议是策略学习用并行仿真快速筛方案最终验证回到 MuJoCo 这种接触更准的环境。两条路都走而不是二选一。domain randomization 是 sim2real 的后悔药设不好就是毒药。把它当成两个旋钮视觉随机纹理、亮度、相机噪声可以大胆拉动力学随机摩擦、质量、关节阻尼要贴着真机标定值小范围调。拉过头策略在仿真里学会了无视视觉、瞎碰到真机一样废。判断标准是看策略是否开始依赖非视觉线索比如物体初始位置这种仿真里才能精确读取的信息。评估部分是大多数人最不爱读但最值钱的一批条目。固定评估 seed 和初始位姿分布否则你分不清版本提升是模型的功劳还是运气。success rate 至少跑 50 次尝试再下结论单次演示成功没有统计意义。还有一条经验规则仿真评估过了 95% 才值得动真机90% 到 95% 之间上真机大概率血亏因为 sim2real 的下降幅度通常有 10-20 个点你要给这个落差留出余量。最后两条一般是模型导出格式和推理框架选型结论很简单先验证推理延迟满足控制周期再谈精度。3. 把知识库跑成可复现流程目录、脚本与参数3.1 按 32 条知识组织实验目录让每条知识对应一个可执行入口知识库不是拿来读的是拿来对答案的。我一般会把 32 条映射到一个固定目录结构上每条知识对应一个可执行入口实验记录、脚本、演示数据各归其位。这个习惯是从连续两次找不着之前跑通的配置里学出来的配置文件一旦散落在桌面和临时目录里等于没有配置。# 初始化 Robot Learning 知识库目录结构 # 05_deploy 是最后一个常被人漏建的目录后补成本很高 mkdir -p rl_kb/{00_notes/{01_obs,02_data,03_policy,04_sim,05_deploy}, \ 01_scripts/{collect,train,eval,deploy}, \ 02_demos/{task_a,task_b}, \ 03_checkpoints/{task_a,task_b}}这段脚本做的事很简单把知识库的五个主题域观测、数据、策略、仿真、部署和四类操作脚本采集、训练、评估、部署建成分层目录。00_notes 下放每条知识的结论和踩坑记录01_scripts 下放对应脚本02_demos 和 03_checkpoints 按任务分子目录。不同任务的 checkpoint 混放会导致用任务 A 的权重跑任务 B 的评估这种低级事故我在两个项目里都见过所以强烈建议目录从第一天就带任务维度。注意03_checkpoints 下按任务分子目录是必须的。我见过不止一次因为 checkpoint 混放评估脚本加载了上一个任务的模型白跑一上午最后发现是权重加载路径写错了。目录建好后还有一个习惯每条知识在 00_notes 里对应一个 md 文件文件名带结论前缀比如 01_obs/normalize_range.md 的内容是图像归一到 0-1、关节角弧度转 [-1,1]。这样不打开文件就知道这条知识说了什么检索成本几乎为零。这套结构我沿用了三年最大的收益不是整齐而是任何一次实验都能五分钟内定位到对应的脚本和数据。3.2 最小复现脚本从采集到训练的一次性管线目录建好后先写一个检查观测一致性的最小脚本。这是 32 条里最容易被忽略、代价却最高的一条我每次开新任务都会先跑一遍比直接改模型参数划算得多。# verify_obs.py检查演示数据与训练配置的观测空间是否一致 import numpy as np def load_demo(path): # 演示数据常见格式npz 存 dict键是 obs/action/done data np.load(path, allow_pickleTrue) return data def verify(demo_path, cfg): demo load_demo(demo_path) obs demo[obs].item() # 采集时存的是 dict expected set(cfg[obs_keys]) actual set(obs.keys()) missing expected - actual if missing: raise RuntimeError(f观测缺键 {missing}采集脚本和训练配置对不齐) # 数值范围检查图像 0-1 还是 0-255会导致慢收敛或直接发散 img obs[cfg[image_key]] print(f图像范围 [{img.min():.2f}, {img.max():.2f}]) # 关节角度检查弧度还是度差 57 倍肉眼看不出来 q obs[cfg[joint_key]] print(f关节角度范围 [{q.min():.2f}, {q.max():.2f}]弧度制应在 ±3.15 附近) if __name__ __main__: cfg {obs_keys: [image, joint_pos, gripper_state], image_key: image, joint_key: joint_pos} verify(02_demos/task_a/ep_0001.npz, cfg)脚本逻辑很简单加载一条演示数据核对训练配置里要求的观测键是否存在再打印图像和关节角度的数值范围。两条范围检查能提前暴露最常见的两类错误图像归一化不一致以及关节角单位不一致。单位错误最坑loss 也能降就是策略行为扭曲肉眼很难看出来。参数说明obs_keys 必须和训练脚本里的观测定义一字不差image_key 和 joint_key 是抽出来单独做范围检查的键名如果观测里没有关节角把 joint_key 换成末端位姿键即可。脚本跑完如果输出范围和预设不符直接回头看采集端不要继续往下训练。把这个脚本接进训练脚本的入口训练前强制跑一遍通不过直接抛异常退出不要打印个警告继续跑。警告在实验里等于不存在因为人会无视它而异常会逼你停下来处理。3.3 知识库里最容易调错的三个参数第一是学习率。Robot Learning 模型通常包含视觉骨干和策略头两部分两部分的学习率要分开设视觉部分 1e-4 起步策略头可以到 1e-3。共用学习率的结果往往是视觉学太慢、策略学太快整体表现不上不下。判断办法是看训练曲线如果 loss 掉得很快但 rollout 成功率不上涨多半是策略头在背训练集视觉根本没学会。第二是 batch size 和数据量的匹配。数据量在 500 条以内时batch size 超过 128 会让行为克隆过早拟合演示分布建议取 32-64数据量到几千条再把 batch 拉上去训练速度收益才明显。知识库里的 batch size 建议是绑数据量给出的单独抄一个数字没有意义。第三是动作平滑正则的权重。很多实现会在动作损失上加平滑项权重太大会让策略不敢动末端轨迹像钝角在画线太小又会高频抖动。经验值是先给 1e-4然后看 rollout 轨迹的加速度曲线出现抖动就往上加一个数量级。注意平滑正则只该加在相邻动作步的差值上加在绝对动作上会把策略整体拉偏。4. Robot Learning 复现避坑手册五个典型翻车点这一章是血泪经验的浓缩。32 条知识里有一半是别人踩过的坑另一半是我自己踩出来的。下面五条按出现频率排序每一条都是现象 → 原因 → 解决的标准结构可以直接对号入座。4.1 数据采集与时间同步的坑现象训练 loss 正常下降验证 loss 也很低但一到真机 rollout机械臂像反应慢半拍动作总是滞后抓取老是差一帧。原因采集数据时 obs 和 action 用了两条线程的时间戳或者干脆没打时间戳训练时模型学到的是用第 t 帧的观测去预测第 t-k 帧的动作。仿真里没有控制延迟所以验证时不暴露真机一上就露馅。解决采集脚本里给每条 obs-action 对打同一个时钟的时间戳训练前做对齐检查统计 action 和下一帧 obs 的时间差超过一个控制周期直接报警。检查方法也简单对同一段演示把图像帧和关节角曲线画在一起看动作开始变化的那一帧和图像里物体被碰到的帧是否对齐差几帧一目了然。我的习惯是采集端每 100 条打印一次时间戳偏差的中位数稳定在 5ms 以内才继续。4.2 训练与评估切分的坑现象训练集 success rate 冲到 95% 以上validation 却只有 20%反复调参都拉不起来。原因按帧切分 train/val 了。行为克隆的数据是时间序列同一段演示的前半段进了训练集、后半段进了验证集模型相当于看到了答案的开头。验证集泄漏让评估失去意义还给人一种训练不正常的错觉浪费大量调参时间。解决按 episode 切分演示文件以整个 npz 为单位划入一边绝不在文件内部按帧切。切完后用文件名哈希检查验证集与训练集是否完全无重叠。还有一个配套细节如果做了数据增强增强变换的随机 seed 也要按 episode 固定否则同一段演示的不同增强版本会出现在两边造成另一种泄漏。评估脚本不要复用训练脚本的数据加载器训练加载器里通常带增强和打乱评估时用它会引入随机性。4.3 训练超参与收敛的坑现象照抄知识库推荐的学习率和 reward 权重训练直接发散loss 冲到 NaN 或者震荡下不来。原因知识库里的参数是绑定观测尺度的。原任务把关节角归一化到了 [-1,1]你直接喂弧度制同样学习率下梯度尺度差了 57 倍发散是必然的。这个问题在照抄任何开源配置时都会出现不只在 Robot Learning 里。解决所有数值型观测先归一化再接网络。图像归一化到 0-1关节角用均值方差归一化末端位置按工作空间范围缩放。归一化做完再把学习率调回推荐值一般就能恢复收敛。排查顺序我固定为先查观测尺度再查学习率最后查梯度裁剪。因为尺度错误是根因后两个只是放大器。如果还发散检查是否用了混合精度float16 下 loss 出现 NaN先降梯度裁剪阈值再关掉 AMP 对比一轮。4.4 仿真参数与 sim2real 的坑现象仿真里 success rate 95%真机 30%失败样式高度统一——都是碰了一下就滑走。原因domain randomization 只随机了视觉光照、纹理、相机噪声没随机动力学。仿真里的摩擦系数和真机不一致模型学到了按仿真摩擦系数规划接触真机摩擦小手一碰物体就滑。这是最典型的仿真评估虚高来源。解决把摩擦系数、物体质量、关节阻尼加进随机范围。摩擦系数按真机标定值 ±30% 均匀采样物体质量 ±50% 采样。每加一个动力学参数单独跑一轮评估不要一把全加上否则结果变好了也说不清是哪个参数起的作用。还有一个检查项仿真里物体的初始位姿是否精确可读。如果策略学会了偷看初始位姿真机上这个信息带噪声表现必然崩。判断方法是评估时给初始位姿人为加噪声成功率掉得越多说明模型越依赖这个泄漏特征。4.5 评估与方法论的坑现象模型 A 比 B 的 success rate 高 10 个点换一个初始位姿分布之后结论反过来了。原因评估时初始位姿分布和 seed 没固定。机器人任务对初始状态极度敏感物体位置偏 2cm成功率能差 20 个点。不固定评估条件所有对比都是玄学调参调了个寂寞。解决评估脚本里固定 seed物体初始位姿从预生成的候选列表里采样候选列表在实验开始前用固定 seed 生成一次并保存。每次跑评估用同一个列表、同一个 seed只允许训练权重不同这样出来的差异才有资格叫提升。我还会把评估日志和候选列表文件一起归档事后排查上次结果怎么来的时不需要靠记忆。5. 从知识库到 scalable robot learning把 general flow 接进工作流这一章把 32 条知识往上再走一步回答一个很多人问过我的问题知识库能帮我上新范式吗能但路径比想象中窄。5.1 general flow as foundation为什么 flow 类方法适合当底座最近这个方向的核心主张是 general flow as foundation affordance for scalable robot learning。翻译成落地语言与其为每个任务训练一个专用策略不如先学一个通用的动作流模型再让模型输出可供下游使用的 affordance——也就是在当前状态下哪些动作是可行的、哪些动作是能成的。flow matching 类方法在机器人领域的价值在于把策略和动作分布解耦。行为克隆直接回归动作本质是拟合条件均值diffusion policy 用去噪步进逼近分布再做一步就是用 flow matching 在观测条件下学一个从噪声到动作的连续变换场。这个场的意义是天然支持多峰动作而且可以在任务之间共享。抓杯子的 flow 和放杯子的 flow 有共同结构能互相初始化这正是scalable的来源——新任务不用从零训起。这也是为什么 flow 类方法更适合做 foundation它输出的不是孤立的动作而是带方向性的转移场下游策略和上层规划都能消费这个场。知识库在这里的角色是地基层。32 条里关于观测空间、数据量、动作空间、仿真选型的结论在 flow 类方法上一视同仁地适用甚至更关键。flow 模型对观测噪声比回归模型更敏感因为它是逐点拟合矢量场观测一旦塌掉整个场的梯度方向就乱了。换句话说前 10 条观测知识是 general flow 能成立的前提条件省不掉。很多人把 flow 模型当黑匣子觉得采样出来的动作不可解释。实际上 flow 场本身是可可视化的把同一观测下的多条采样轨迹画出来你会看到轨迹簇集中在物体可抓取的几个方位这些簇就是 affordance 的实体形态。知识库里的评估条目正好用来量化这些簇的成功率而不是靠肉眼判断。5.2 落地路径用知识库的仿真栈验证 affordance 假设想从单任务行为克隆升级到 general flow 工作流我不会直接上真机而是先在知识库对应的仿真栈里做三步验证。这三步每一步都对应知识库里的若干条目如果某一步失败先回头查对应条目而不是换模型。第一步选一个接触类任务比如推箱子或抓取采集多初始位姿的演示数据。数据量按知识库的数据量下限翻三倍因为 flow 模型要覆盖更宽的分布数据太少学出来的流场是一条线不是一个场。数据采集策略直接复用 2.2 里的混合比例不需要另起炉灶。第二步训练一个 flow matching 策略。训练时重点看两个指标生成的 action 轨迹是否平滑同一观测下多次采样的动作多样性是否足够。多样性太低说明 flow 塌缩回了均值回归优先检查去噪步数和学习率轨迹不平滑则加平滑正则正好用得上 3.3 里那条参数经验。如果这一步失败先别怀疑模型容量回知识库查观测归一化和数据量这两条十次有八次是这两处的低级问题。第三步做 affordance 评估。固定当前观测采样 N 条动作轨迹分别 rollout统计成功率把成功率高的轨迹区域标记为当前状态的 affordance 分布。这一步把模型会做什么升级成了模型能做成什么是 scalable robot learning 最实用的评估思路也直接回答这个知识库值不值得投入。# affordance_score.py固定观测采样多条 flow 动作轨迹并统计成功率 def sample_and_score(policy, obs, env, N20): 从流场采样 N 条轨迹逐条 rollout返回成功率与轨迹分布 scores [] for _ in range(N): action_seq policy.sample_flow(obs, steps8) # 8 步去噪先稳后快 success env.rollout(obs, action_seq) # 逐条跑完才算数 scores.append(success) # affordance 藏在这批采样里成功率高的轨迹方向是可复用的动作基元 print(f采样 {N} 条成功 {sum(scores)} 条) return scores逻辑说明sample_flow 每次从噪声出发走 8 步去噪得到一条完整动作序列env.rollout 把序列逐条执行到底返回是否成功。统计的是成功率高的轨迹区域而不是单条最优轨迹这正是 affordance 和普通策略评估的区别。参数说明N 的起始值是 20任务分布复杂就加到 50N 太小统计不可靠N 太大 rollout 时间翻倍steps8 是推理步数步数越多动作越精细但推理延迟线性上涨。真机场景先压到 4 步看成功率损失控制在控制周期内优先。配套一个参数速查表阶段关键参数建议起始值调整方向数据量单任务演示数知识库下限 ×3多样性不足就加flow 训练去噪步数8-16步数多则动作更细但推理变慢flow 训练学习率1e-4轨迹抖动就降affordance 评估采样数 N20分布复杂就加到 50提示flow 推理步数是最容易忽略的瓶颈。8 步和 16 步在成功率上可能只差 2 个点推理延迟却翻倍真机上可能直接错过控制周期。先定延迟上限再谈步数。6. 留一法验证找出 32 条里最值钱的一条把 32 条全照做不代表你有判断力能指出哪一条不做会死才算真懂。我现在的习惯是每换一个任务领域先做一轮留一法验证。做法很短固定一个任务把 32 条全部落实跑出基线 success rate然后每次刻意违反其中一条比如故意把观测归一化去掉、故意按帧切验证集、故意不固定评估 seed重新训练并记录成功率变化。每轮只违反一条改动像独立变量排出来就得到这份知识库在当前任务上的敏感度排序。这条敏感度排序比知识库本身更有价值。我做过两轮之后发现抓取任务里观测时间戳对齐和评估 seed 固定贡献了 70% 以上的成功率差异而历史帧堆叠的敏感度很低因为任务本身慢单帧信息足够。每个团队的任务不一样固定的条目权重只能当参考留一法才是你自己的结论。这个习惯救过我一次之前一个项目在仿真里反复调了很久都没突破 90%留一法一跑发现是按帧切分验证集这条被违反了评估一直在泄漏改掉直接越过 95% 门槛。所以我现在开任何新任务前三天不调模型只做两件事跑一遍 verify_obs.py再跑一遍留一法验证。希望帮到你。本文还有配套的精品资源点击获取