大模型模型推理服务AI 应用【免费下载链接】openPangu-R-72B-2512-vllm-ascend-0.11.0Ascend-SACT开源项目提供openPangu-72B适配昇腾A2的vllm-ascend 0.11.0推理镜像预装CANN 8.5.0.alpha002、torch-npu 2.7.1等套件修改权重目录即可快速启动离线推理支持后训练扩展方便开发者在昇腾NPU上高效部署大模型应用。【此简介由AI生成】项目地址https://ai.gitcode.com/Ascend-SACT/openPangu-72B-vllm-ascend-0.11.0点击查看免费下载openPangu-72B 是专为昇腾 A2 NPU 打造的 vllm-ascend 0.11.0 离线推理镜像项目。它把 CANN 8.5.0.alpha002、torch-npu 2.7.1 等经过验证的套件全部预装进镜像启动后修改权重目录即可离线推理无需手动搭建复杂的依赖环境。 这个镜像能帮你做什么对于要在昇腾 NPU 上部署大模型的同学来说环境依赖一直是最大的坑。本镜像的核心价值就一句话把版本对齐这件事做完了。软件配置项版本信息说明vllmv0.11.0核心推理引擎vllm-ascendv0.11.0昇腾适配层CANN8.5.0.alpha002昇腾 AI 计算架构Python3.11.13运行环境transformers4.57.1模型加载框架torch_npu2.7.1.post2NPU 计算后端镜像中还内置了可直接运行的vllm_test.py测试脚本vllm / vllm-ascend 安装在/vllm-project/目录需要时可以直接修改源码。仓库提供多个镜像包按需选择即可镜像包用途vllm-ascend0110-openpangu72b.tar.gzopenPangu 72B 推理镜像本教程主角pangu72b-verl-vllm-v0.0.1.tar.gz加装 verl 的后训练镜像openpangu72b-mauserv012.tar.gz基于训练 Dockerfile 打包体积小带 ma-user详细说明见 README.md。第一步加载并启动推理镜像将镜像包上传到昇腾服务器后先导入镜像再启动容器。仓库自带的 docker_run.sh 已配好完整的 NPU 直通参数可直接参考docker load -i vllm-ascend0110-openpangu72b.tar.gz export IMAGEvllm-ascend0110-openpangu72b:0.0.5 export NAMEopenPangu72b-vllm0110 docker run -it -d --nethost \ --name $NAME \ --shm-size1g \ --privileged \ --device /dev/davinci_manager \ --device /dev/devmm_svm \ --device /dev/hisi_hdc \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \ -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v /home/models:/home/models \ -it $IMAGE bash关键参数解读--device三个设备映射是 NPU 直通的核心-v /home/models:/home/models用于挂载模型权重目录保证宿主机和容器内路径一致。进入容器docker exec -it openPangu72b-vllm0110 /bin/bash第二步修改权重目录5分钟跑通离线推理启动容器后在当前目录就能看到vllm_test.py。只需两步即可开始离线推理检查脚本中的权重路径指向你的模型目录用本仓库的 config.json 替换权重目录下的原始 config.json该文件声明了PanguProMoEV2ForCausalLM架构及auto_map映射是模型正确加载的关键。然后直接运行python vllm_test.py看到模型正常输出的响应内容即代表离线推理链路已经打通 。⚠️ 替换 config.json 这一步不要省略否则模型架构无法被 transformers 正确识别。进阶一键启动 OpenAI 兼容推理服务如果不止本地测试还要对外提供 API 服务可以直接参考 serve_niu.sh。它针对 4 卡 NPU 做了完整的张量并行 专家并行配置export VLLM_USE_V11 export ASCEND_RT_VISIBLE_DEVICES0,1,2,3 export HCCL_OP_EXPANSION_MODEAIV export VLLM_ASCEND_ENABLE_TOPK_OPTIMIZE1 export PYTORCH_NPU_ALLOC_CONFexpandable_segments:True vllm serve /home/models/hf_models/openPangu-R-72B-2512 \ --tensor-parallel-size 4 \ --enable-expert-parallel \ --gpu-memory-utilization 0.85 \ --max-model-len 131072 \ --block-size 128 \ --trust-remote-code \ --port 8088几个值得注意的调优点参数取值作用--tensor-parallel-size44 卡张量并行分摊 72B 模型权重--enable-expert-parallel—启用专家并行适配 MoE 架构--max-model-len131072支持 128K 长上下文--compilation_configFULL_DECODE_ONLY仅对解码阶段做 CUDA Graph 加速--reasoning-parser/--tool-call-parserpangu开启思考模式解析与工具调用解析调用服务一条 curl 发请求服务启动后默认端口 8088即可用仓库提供的 curl.sh 发起 OpenAI 兼容请求curl http://0.0.0.0:8088/v1/chat/completions \ -H Content-Type: application/json \ -d { model: openpangu-72b-vllm-0113, messages: [{role: user, content: 介绍一下大海}], max_tokens: 2048, chat_template_kwargs: {think: true, reasoning_effort: low} }think: true会开启推理思考模式reasoning_effort可控制思考深度方便快速验证模型能力。 常见问题速查问题排查方向NPU 设备识别不到检查--device三项映射与昇腾驱动是否安装容器内执行npu-smi info验证模型加载报架构错误确认已用仓库的 config.json 替换权重目录下的配置文件显存HBM不足降低--gpu-memory-utilization或增大--tensor-parallel-size卡数长文本截断检查--max-model-len是否覆盖实际输入长度 仓库核心文件一览项目说明README.md容器启动脚本docker_run.sh在线服务启动脚本serve_niu.shAPI 调用示例curl.sh模型配置文件config.jsonMoE 模型实现源码modeling_pangu_moe.py推理镜像包vllm-ascend0110-openpangu72b.tar.gz总结openPangu-72B 镜像帮你省去了最耗时的环境对齐工作——加载镜像、挂载权重、替换 config.json、运行vllm_test.py5 分钟即可在昇腾 NPU 上跑通 vllm-ascend 0.11.0 离线推理需要对外服务时再参考serve_niu.sh一键拉起 4 卡推理服务即可。赞分享大模型模型推理服务AI 应用【免费下载链接】openPangu-R-72B-2512-vllm-ascend-0.11.0Ascend-SACT开源项目提供openPangu-72B适配昇腾A2的vllm-ascend 0.11.0推理镜像预装CANN 8.5.0.alpha002、torch-npu 2.7.1等套件修改权重目录即可快速启动离线推理支持后训练扩展方便开发者在昇腾NPU上高效部署大模型应用。【此简介由AI生成】项目地址https://ai.gitcode.com/Ascend-SACT/openPangu-72B-vllm-ascend-0.11.0点击查看免费下载相关推荐vllm-ascend 快速上手在昇腾 NPU 上离线运行 Qwen3-0.6B 推理vllm ascend 快速上手在昇腾 NPU 上离线运行 Qwen3 0.6B 推理 vLLM Ascend 是 vLLM 在华为昇腾Ascend硬件上人工智能大模型模型推理服务AscendCANNQwen3-4B-FP8快速上手在昇腾910B上搭建CANN torch_npu vLLM-Ascend推理环境Qwen3 4B FP8快速上手在昇腾910B上搭建CANN torch_npu vLLM Ascend推理环境 本文带你从零搭建 Qwen3 4B大模型人工智能UI-TARS桌面版零代码智能自动化5分钟解放你的双手UI TARS桌面版零代码智能自动化5分钟解放你的双手 还在为重复的电脑操作而烦恼吗每天花费大量时间点击、输入、拖拽做着千篇一律的工作UI TARS桌人工智能大模型AI Agent自主智能体多模态GUI自动化浏览器控制桌面应用上一篇如何用深蓝词库转换工具打破输入法格式壁垒30格式互通完整指南下一篇微信聊天记录导出完整指南离线归档与年度报告创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考