【免费下载链接】c-foundationstereo-s项目地址https://ai.gitcode.com/hf_mirrors/nvidia/c-foundationstereo-s点击查看免费下载c-foundationstereo-s是 NVIDIA FoundationStereo 小模型的 ONNX 部署包输入一对 RGB 立体图像即可输出高精度的视差图Disparity Map再借助相机内参换算为深度图实现零样本Zero-Shot立体深度估计。本文带你完整走一遍如何基于仓库中的 ONNX 模型配合 TensorRT / ONNX Runtime在Triton Inference Server上搭建一条端到端的深度估计推理流水线新手也能按步骤照做。一、先搞懂 c-foundationstereo-s一个能零样本测距的立体匹配模型FoundationStereo 是 NVIDIA Research 推出的立体深度估计基础模型面向工业、机器人、智能空间等 3D 感知场景。它的核心特点零样本泛化无需针对你的场景重新训练开箱即用混合 Transformer-CNN 架构特征提取器由冻结的预训练 DepthAnythingV2 侧调优Side-tuning的 EdgeNeXt CNN 组成立体特征送入AHCFAttentive Hybrid Cost Filtering代价体计算相关映射Disparity Transformer计算特征注意力融合代价特征得到初始视差最后用卷积 GRU 迭代精修输出高精度视差图参数量约6.3×10⁷属于轻量级small版本输入两张 RGB 立体图形状B x 3 x H x W支持 RGB 或灰度图输出视差图Disparity Map形状B x 3 x H x W结合相机内参即可得到深度图。完整的模型卡信息架构、数据集、局限性等见仓库根目录的 README.md。二、仓库模型文件清单该选哪个 ONNX 版本这是新手最容易懵的一步。仓库onnx/目录下提供了多组模型文件用途各不相同文件输入分辨率运行时说明onnx/deployable_foundationstereo_small_320x736_v2.0.onnx320×736固定ONNX Runtime / TensorRT低分辨率场景首选onnx/deployable_foundationstereo_small_576x960_v2.0.onnx576×960固定ONNX Runtime / TensorRT高精度场景首选onnx/deployable_foundationstereo_small_320x736_v1.0.onnx320×736固定ONNX Runtime / TensorRT1.0 版本onnx/deployable_foundationstereo_small_576x960_v1.0.onnx576×960固定ONNX Runtime / TensorRT1.0 版本onnx/deployable_foundation_stereo_s_dynamic.onnx任意分辨率仅 ONNX Runtime动态形状版无法转换为 FP16 TensorRT 引擎onnx/legacy/deployable_foundationstereo_small_v1.0.onnx——旧版遗留文件onnx/legacy/下还有 l 版动态模型trainable_foundation_stereo_small.pth—PyTorch可训练权重用于 PyTorch 推理或微调选型建议一句话版想用TensorRT 加速→ 选固定分辨率的v2.0模型320x736或576x960输入分辨率经常变 → 选 dynamic 版但只能跑 ONNX Runtime需要在 PyTorch 里跑或做微调 → 用.pth权重。三、部署环境准备硬件、软件与模型获取硬件与软件要求硬件任意 NVIDIA GPU官方验证覆盖 Ampere、Hopper、Turing、Volta、Lovelace、Blackwell 以及 JetsonOrin AGX / Thor等架构系统Linux软件栈CUDA TensorRT Triton Inference Server如需动态形状版也可只装 ONNX Runtime。获取模型文件仓库中较大的 ONNX / PTH 文件通过 Git LFS 存储克隆后需要执行git lfs pull拉取真实文件git clone https://gitcode.com/hf_mirrors/nvidia/c-foundationstereo-s cd c-foundationstereo-s git lfs pull完成后检查onnx/下的文件大小应远大于 4KBLFS 指针文件只有几十字节即表示拉取成功。四、Triton Inference Server 部署四步走第 1 步搭建模型仓库Model Repository目录Triton 的规范目录结构很简单每个模型一个文件夹内部按版本号分层model_repository/ └── foundationstereo/ ├── config.pbtxt # 模型配置 └── 1/ └── model.onnx # 复制自 onnx/deployable_foundationstereo_small_320x736_v2.0.onnx把选好的 ONNX 文件复制为1/model.onnx即可Triton 的 ONNX backend 会自动识别。第 2 步编写 config.pbtxt 配置文件配置中需要声明输入/输出的名称、数据类型TYPE_FP32和形状。固定形状模型建议max_batch_size: 0输入维度固定为[3, 320, 736]320x736 版本或[3, 576, 960]576x960 版本。提示ONNX 模型里实际的 input / output 名称可以用 Netron 等工具打开model.onnx查看后再填入配置避免名称不匹配导致加载失败。第 3 步启动 Triton 并验证服务tritonserver --model-repository/path/to/model_repository另开终端检查模型是否就绪curl localhost:8000/v2/models/foundationstereo/ready返回true即表示模型加载成功接下来就可以通过 HTTP / gRPC 接口/v2/models/foundationstereo/infer发送左右图做推理了。第 4 步补齐前后处理形成端到端流水线推理本身只占流程的一部分一条完整的深度估计流水线还需要前处理读取左右立体图 → 缩放到模型固定分辨率320×736 或 576×960→ 归一化为 FP32 → 整理成 NCHW 格式送入服务推理Triton 返回视差图后处理利用相机内参把视差换算成深度深度 基线距离 × 焦距 / 视差可视化为深度图或点云。如果你希望抓图、解码、推理、后处理一步到位可以参考 NVIDIA 的TAO Triton apps方案——它提供现成的图像分析流水线组件可把数据捕获、解码和前后处理与推理服务高效串起来。五、性能数据与硬件兼容性参考官方在 FP16 精度下用trtexec测得的纯推理性能如下BS1设备分辨率延迟 (ms)吞吐 (帧/秒)Orin AGX320×7361039.001.00Thor AGX320×7361460.950.67Thor AGX576×9602750.000.36A100320×736199.325.00A100576×960437.142.24⚠️ 注意以上是纯模型推理数据。接入流式视频数据后前后处理和硬件瓶颈会让端到端时延有所不同做系统设计时请预留余量。六、常见问题与最佳实践Q为什么 dynamic 模型不能走 TensorRTA动态形状模型在 FP16 精度下无法转换为 TensorRT 引擎只能使用 ONNX Runtime追求速度就上固定形状版。Qv1.0 和 v2.0 怎么选Av2.0 是更新版本onnx/目录下两套都在建议默认选 v2.0onnx/legacy/中的文件属于旧版遗留除非兼容性需要一般不用管。Q哪些场景估计不可靠A透明物体玻璃、水面、高饱和度场景、光照不足区域可能输出不可信的深度被部分或完全遮挡的物体也容易检测不准工程上建议加置信度/一致性检查。Q能商用吗A可以。模型采用 NVIDIA Open Model License 授权下载即代表接受条款。七、总结 回顾一下关键路径从onnx/中选择固定形状 v2.0 ONNXTensorRT 加速或 dynamic 版ONNX Runtime按模型名/1/model.onnx config.pbtxt结构搭建模型仓库启动 Triton Inference Server用/v2/models/.../ready验证补上缩放归一化前处理与视差→深度后处理即得到端到端立体深度估计流水线。主要资料入口模型卡与性能数据README.md部署模型文件onnx/固定形状、动态形状、legacy 三个分组PyTorch 权重trainable_foundation_stereo_small.pth照着一遍走下来你就拥有了一个可以稳定输出深度图的立体视觉服务。接下来就可以把它接到机器人导航、工业检测或智能空间建图的业务里了。赞分享【免费下载链接】c-foundationstereo-s项目地址https://ai.gitcode.com/hf_mirrors/nvidia/c-foundationstereo-s点击查看免费下载相关推荐如何用FoundationPose搭建视频物体位姿跟踪流水线TAO Triton Apps与Triton推理服务器完整方案如何用FoundationPose搭建视频物体位姿跟踪流水线TAO Triton Apps与Triton推理服务器完整方案 FoundationPose 是foobox-cn 教程三步让 foobar2000 换上免费双主题中文皮肤foobox cn 教程三步让 foobar2000 换上免费双主题中文皮肤 foobar2000 解码能力没话说可默认界面实在素得可以灰扑扑的配色、固定UI组件终极指南WeNet GPU推理优化与Triton服务器部署完整教程终极指南WeNet GPU推理优化与Triton服务器部署完整教程 WeNet作为一款面向生产环境的端到端语音识别工具包Production First a人工智能语音深度学习上一篇ScribeJava 安装与配置指南下一篇OpenCore Legacy Patcher 完整教程免费让 2007 年老 Mac 装上新版 macOS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考