人工智能大模型模型推理服务多模态语音音频后端【免费下载链接】sglang-omniSGLang-Omni is a high-performance serving framework for audio models (TTS, ASR) and unified multimodal models.项目地址https://gitcode.com/gh_mirrors/sg/sglang-omni点击查看免费下载SGLang-Omni 是一个面向音频模型TTS、ASR与统一多模态模型的高性能服务框架它的声明式配置系统让你只需一份 YAML 加模型内置的 Python 配置类就能定义整条推理流水线PipelineConfig声明流水线整体蓝图StageConfig描述每个阶段Stage的工厂入口、设备放置与进程归属next、wait_for、stream_to三种连线方式则把多阶段、多 GPU 拓扑画出来而不用写一行调度代码。为什么是声明式写拓扑而不是写代码传统做法里把预处理、编码器、解码器等多个模型组件串成流水线需要手写调度逻辑、进程管理与数据搬运。SGLang-Omni 的思路是把这件事变成填表拓扑归模型作者每个模型包在自己的config.py里用PipelineConfig子类定义有哪些阶段、如何连线参数归运维人员YAML 文件和命令行参数只负责覆盖每个阶段的显存预算、tp_size、engine.*等可调项。这个分工在 sources.py 的模块注释里写得很清楚YAML 中每个阶段的设置位于stages:映射下、以阶段名为键命令行上则是同名阶段的点号标志两种写法共用同一套路径语言。PipelineConfig 与 StageConfig流水线的两级抽象StageConfig一个阶段的最小单元StageConfig 是所有阶段的基类字段按谁来消费分组字段作用name/factory_path阶段名 阶段工厂的点号导入路径每个阶段必须有工厂next/terminal下一个阶段字符串或字符串列表二者必须且只能设置其一process该阶段归属的进程名非 TP 阶段必须声明gpu/tp_size设备放置张量并行时gpu必须是与tp_size等长的唯一 GPU 列表gpu_memory_fraction/total_reserve_bytes显存预算两种单位二选一用于共卡容量检查engine.*仅引擎阶段可用覆盖 SGLangServerArgsfactory.*阶段工厂构造参数max_seq_len、max_batch_size等wait_for/merge_fn/stream_to多路汇聚与流式转发见下文其中engine.*参数组由 EngineArgs 声明mem_fraction_static、max_running_requests、kv_cache_bytes等常用键有显式校验其余ServerArgs键可自由透传。注意它只存在于引擎阶段——由 EngineStageConfigengine_stage True承载在普通阶段上误写engine.*会直接报路径错误防止配置被静默忽略。PipelineConfig整体蓝图PipelineConfig 是顶层配置类核心字段model_path模型路径必填stages阶段列表顺序即同一进程内的加载顺序entry_stage入口阶段缺省取stages第一个processes以进程名为键的稀疏副本策略num_replicas、replica_devicesmps/weight_share/placementMPS 开关、权重共享与放置上限env_defaults进程环境默认值。模型子类还会声明若干ClassVar如architecture架构名用于自动识别配置类、stage_config_types阶段名 → 专属StageConfig子类的映射保证 dump/重建往返时每个阶段按自己的类型校验。三种连线方式next、wait_for、stream_to流水线拓扑本质是一张有向图SGLang-Omni 提供三种边next线性传递最常用的下一站。值是阶段名也可以是列表配合route_fn动态路由函数在运行时选择走向wait_formerge_fn扇入汇聚多路上游同时喂给一个阶段。wait_for声明等待谁merge_fn声明如何合并各路 payloadstream_to旁路流式转发主链路继续走next同时把可经project_payload投影后的数据流给旁路阶段适合边生成边送波形解码这类场景。Qwen3-Omni 的语音流水线就是三者并用aggregate阶段wait_for[preprocessing, image_encoder, audio_encoder]三路汇聚后送入thinkerthinker用stream_to把生成流同时推给decode和talker_artalker_ar再stream_to[code2wav]把语音 token 流式送给波形解码。这些连线定义在 speech_stages()。连线写完后validate_general() 会做一轮图纸检查next与terminal互斥、wait_for必须配merge_fn、所有引用的阶段名必须真实存在、阶段名全局唯一等配置一加载就能发现悬空引用。进程与副本从逻辑阶段到真实进程配置里的阶段是逻辑的真正跑起来的是 OS 进程。规则很简单非 TP 阶段必须声明process同名process的阶段共享一个进程TP 阶段独占进程并自动展开为name_tp0、name_tp1… 多个进程见 build_tp_process_names()PipelineConfig.processes可为某进程整组声明num_replicas与replica_devices副本按整个进程为单位复制而不是按阶段。compile_logical_processes() 负责把这份声明编译成LogicalProcessPlan——这是 worker 启动前最后一道校验层它会检查跨进程边两个阶段连在一起却不在同一进程对模型声明的process_local_edges()必须同进程才能交接的边直接报错。YAML 配置怎么写按阶段覆盖拓扑归模型作者YAML 只写这台机器怎么放。以 qwen3_omni_colocated_h20.yaml 为例单卡 H20 共卡部署只需config_cls: Qwen3OmniSpeechColocatedPipelineConfig name: qwen3-omni-colocated-h20 model_path: Qwen/Qwen3-Omni-30B-A3B-Instruct stages: image_encoder: gpu_memory_fraction: 0.025 audio_encoder: gpu_memory_fraction: 0.025 thinker: gpu_memory_fraction: 0.75 talker_ar: gpu_memory_fraction: 0.12 code2wav: gpu_memory_fraction: 0.02启动时sgl-omni serve --config config.yaml --port 8091也可在命令行按点号路径覆盖与 YAML 等价stages.前缀可省直接从阶段名开始sgl-omni serve --config omni.yaml \ --tts_engine.tp_size 2 \ --tts_engine.engine.mem_fraction_static 0.7更多进程拓扑技巧MPS、权重共享、共卡可参考官方文档 docs/basic_usage/process_topology.md。配置解析流水线YAML 与 CLI 如何合流所有来源YAML 文件、CLI 点号参数、Router worker 参数都不直接改配置而是先各自归一化为补丁Patch再交给 ConfigResolver 统一合并从基线配置模型子类默认值model_dump()出数据按优先级顺序逐个应用补丁映射值做深度合并重建出最终PipelineConfig并记录provenance来源谱系——每个被改写的路径都能追溯谁写的、原来是什么、最终生效的是什么。这种补丁 谱系设计带来三个好处冲突检测按值粒度进行同源重复写一个键会直接报错、sgl-omni config resolve --show diff能展示各来源相对模型默认值改了什么、重建后的配置可被单元测试逐字段对比。实战对照从单阶段 ASR 到 7 阶段多模态单阶段极简拓扑FunASRPipelineConfig 只有一个asr引擎阶段entry_stageasr且terminalTrue外加一个RealtimeTranscriptionConfig声明实时转写策略——这就是 ASR 类模型的最简声明式写法。7 阶段语音拓扑Qwen3OmniSpeechColocatedPipelineConfig 把preprocessing → image_encoder / audio_encoder → thinker → talker_ar → code2wav等 7 个阶段放进单卡其中code2wav与talker_ar同进程见 COLOCATED_SPEECH_PROCESSES配合 YAML 中的显存预算完成共卡部署。上手清单常见校验错误速查错误场景修正方式next与terminal同时设置或都没设二者只能保留其一wait_for缺merge_fn为汇聚阶段补上合并函数路径gpu数量与tp_size不一致 / 含重复 GPU提供与tp_size等长的唯一 GPU 列表非 TP 阶段未声明process为每个阶段补process字段gpu_memory_fraction与total_reserve_bytes同时声明二选一共卡部署必须声明其一engine.*写在了非引擎阶段上确认该阶段的StageConfig子类是否engine_stageYAML 中引用了模型未定义的阶段名阶段拓扑由模型config.py拥有文件只能覆盖已有阶段小结SGLang-Omni 把多阶段、多进程、多 GPU的部署问题拆解成两级声明——PipelineConfig管整体与进程/副本策略StageConfig管单阶段工厂、连线与放置再叠加补丁式配置解析让运维人员用一份 YAML 就能完成从单阶段 ASR 到 7 阶段多模态流水线的部署同时保留了完整的来源追溯与启动前校验。赞分享人工智能大模型模型推理服务多模态语音音频后端【免费下载链接】sglang-omniSGLang-Omni is a high-performance serving framework for audio models (TTS, ASR) and unified multimodal models.项目地址https://gitcode.com/gh_mirrors/sg/sglang-omni点击查看免费下载相关推荐vLLM-Omni 配置体系完全指南PipelineConfig 拓扑、Deploy YAML、并行策略与内存调优vLLM Omni 配置体系完全指南PipelineConfig 拓扑、Deploy YAML、并行策略与内存调优 本文是 vLLM Omni面向全模态模型人工智能大模型模型推理服务多模态语音音频媒体生成本地部署SGLang-Omni 进程拓扑完全指南Process、Replica、GPU 放置与 CUDA MPS 共享配置详解SGLang Omni 进程拓扑完全指南Process、Replica、GPU 放置与 CUDA MPS 共享配置详解 SGLang Omni 是面向 TTS人工智能大模型模型推理服务多模态语音音频后端Flakes最佳实践10个提升管理后台开发效率的技巧Flakes最佳实践10个提升管理后台开发效率的技巧 Flakes是一款强大的管理后台模板框架集成了CSS库、JavaScript库和设计文件帮助开发者快大数据流处理后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考