rho-libero 数据配置详解:LIBERO 基准双目视觉与 7 维动作特征完全拆解
人工智能基础模型【免费下载链接】rho-libero项目地址https://ai.gitcode.com/hf_mirrors/microsoft/rho-libero点击查看免费下载rho-libero是微软将 Rho 系列 VLA视觉-语言-动作模型在LIBERO 基准上微调后发布的完整模型检查点总大小约 10.5 GB。随模型附带的data_config.json数据配置完整定义了 LIBERO 操作基准的输入输出管道两路 256×256 双目视觉图像、8 维本体状态、7 维动作向量。本文带你逐文件拆解这份数据配置特征如何命名、图像如何归一化、7 维动作如何量化与裁剪、1693 段训练数据是如何统计归档的。一、仓库文件全景一个模型检查点里都有什么文件作用manifest.json元数据清单rho格式 v1训练第 3000 步导出权重单片上限 5 GBdata_config.json⭐ 数据配置核心特征定义、归一化映射、裁剪范围、批处理参数features.json特征 schema4 个特征的type与shapestats.json各特征统计量min/max/mean/std/q01/q99policy.json策略模型结构与训练超参model.safetensors.index.json权重索引元数据显示总大小10,539,226,004 字节约 10.5 GBmodel-0000X-of-00003.safetensors×3权重分片safetensors 格式 新手提示使用模型前先打开data_config.json确认输入输出规格再对照stats.json做同样的归一化这是复现推理的关键一步。二、data_config.json4 个核心输入特征一览features字段data_config.json定义了全部 4 个特征与 features.json 完全一致特征名类型shape含义observation.image.agentviewVISUAL(3, 256, 256)第三人称主视角相机 RGB 图像observation.image.wristVISUAL(3, 256, 256)腕部相机 RGB 图像observation.stateSTATE(8,)8 维本体状态向量actionACTION(7,)7 维动作向量归一化策略QUANTILE 分位数 vs IDENTITY 恒等normalization_mappingdata_config.json按特征类型分配了两种归一化方式VISUAL → IDENTITY图像不做任何变换保持[0, 1]像素区间ACTION/ENV/STATE→QUANTILE采用分位数归一化消除异常值影响更适合机器人轨迹数据。配套的clip_valuesdata_config.json把三类数值特征统一裁剪到[-1.05, 1.05]略超出±1是为了给归一化留一点余量避免合法数据被误裁剪。双目视觉的改名机制observation_mappingLIBERO 原始数据集的相机字段叫observation.images.image和observation.images.wrist_imagerho-libero 通过observation_mappingdata_config.json把它们重命名为标准化的observation.image.agentview主视角与observation.image.wrist腕部视角——这就是双目视觉两路输入的来源。其他值得注意的训练参数training_mode为ROBOT_FLOWMATCH流匹配训练、action_type为POSITION位置型动作、chunk_size: 16、min_action_chunk_size: 8、batch_size: 32、use_imagenet_stats: falsedata_config.json。三、双目视觉特征拆解两路 256×256 相机流 ️两路图像规格完全对称通道3 通道 RGB分辨率256×256适合 VLM 视觉分词器处理归一化IDENTITY恒等映射stats.json中两路图像 min 均为0.0、max 均为1.0stats.json验证了像素处于[0, 1]区间亮度健康度agentview 三通道均值0.41~0.48wrist 为0.42~0.51stats.json曝光均匀、无过曝或黑屏风险。两路视角互补agentview 提供场景全局布局wrist 提供近距离操作细节是 VLA 模型稳定抓取的关键设计。四、7 维动作向量完全拆解3 平移 3 旋转 1 夹爪 7 维动作向量对应 LIBERO 的 Franka 机械臂控制接口维度含义q01q99特征0 ~ 2末端位置增量 (Δx, Δy, Δz)-0.94 ~ -0.700.87 ~ 0.94近似对称极值 ±0.93753 ~ 5末端旋转增量 (roll, pitch, yaw)-0.22 ~ -0.110.13 ~ 0.34弧度级小量符合旋转语义6夹爪开合-1.01.0全闭合 ↔ 全张开数据来自 stats.json 的action段几个关键设计点分位数归一化 ±1.05 裁剪动作先做 QUANTILE 归一化再统一裁剪到[-1.05, 1.05]训练与推理必须执行相同流程动作块Action Chunkingchunk_size: 16表示模型一次预测未来 16 步动作min_action_chunk_size: 8是最小执行块policy.json中n_action_steps: 8与之对应policy.json流匹配推理num_steps: 10表示推理时 10 步流匹配积分time_sampling_strategy: betapolicy.json。五、8 维状态与数据规模统计 observation.statedata_config.json是 8 维本体状态从 stats.json 看维度 0~5 量级在-0.48 ~ 3.67末端执行器位姿维度 6~7 量级极小约±0.04对应夹爪关节开合。stats.json的索引段还透露了完整的数据规模统计项数值含义episode_indexmax 16921693 段轨迹stats.jsontask_indexmax 3940 个任务覆盖 LIBERO 4 套件 × 10 任务stats.jsonframe_indexmax 504每段轨迹最长505 帧stats.jsontimestampmax ≈ 50.4 s约10 Hz采集频率stats.jsonindexmax ≈ 273,464总计约27.3 万训练步stats.json六、模型结构速览数据配置为什么这么设计policy.json显示该策略基于microsoft/rho-base预训练权重继续训练policy.json整体是VLM 主干 动作专家的经典 VLA 架构VLM 主干32 层语言主干 SigLIP 风格视觉编码器vision_tower见 model.safetensors.index.json隐藏状态从第 14 层提取hidden_state_idx: 14动作专家12 个 Transformer 块embed_dim: 2048、16 头、GQA 4 组通过 cross-attention 读取语言特征max_action_dim: 32兼容 LIBERO 的 7 维动作全量微调所有freeze_*开关均为false即 VLM、视觉编码器、语言模型与动作专家一起训练bfloat16flash_attention_2。manifest.json最终确认这是一份训练到第3000 步的正式产物并记录了 4 个元数据产物manifest.json。七、新手自检清单5 步验证你的数据管道 ✅打开 features.json确认 4 个特征的shape(3, 256, 256)×2、(8,)、(7,)对照 data_config.json图像走IDENTITY数值特征走QUANTILE推理时把动作/状态裁剪到[-1.05, 1.05]clip_values核对 stats.json 中的 q01/q99确认归一化分位数来源一致用 model.safetensors.index.json 的total_size10,539,226,004 字节校验 3 个 safetensors 分片完整性。总结rho-libero 的数据配置是理解 LIBERO 基准 VLA 管道的绝佳范本双目 256×256 视觉 8 维状态 7 维动作的四特征结构、QUANTILE 分位数归一化与 ±1.05 裁剪、16 步动作块预测每一处都能在data_config.json、stats.json中找到对应参数。读懂这份配置你就能把这套 10.5 GB 的模型正确接入自己的推理流程。赞分享人工智能基础模型【免费下载链接】rho-libero项目地址https://ai.gitcode.com/hf_mirrors/microsoft/rho-libero点击查看免费下载相关推荐rho-libero 架构全景VLM 视觉语言骨干 12 层流匹配动作专家深度图解rho libero 架构全景VLM 视觉语言骨干 12 层流匹配动作专家深度图解 rho libero 是微软开源的机器人操作策略模型Policy权人工智能基础模型rho-libero 能干什么流匹配驱动的 LIBERO 机器人策略模型能力全解析rho libero 能干什么流匹配驱动的 LIBERO 机器人策略模型能力全解析 rho libero 是微软Microsoft开源的一个面向 LIBE人工智能基础模型如何快速上手 rho-libero3 步完成 LIBERO 机器人操作模型下载与部署如何快速上手 rho libero3 步完成 LIBERO 机器人操作模型下载与部署 rho libero 是微软开源的机器人操作Robot Manipul人工智能基础模型上一篇Swift Package Manager 包发布指南通过语义化版本标签共享你的 Swift 包下一篇如何用 Vue3 Excel Editor 快速实现 Excel 风格数据编辑超实用教程来了创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考