sglang-omni(语音推理服务)

作者 算力观察

语音模型跑起来慢、延迟高,多阶段拼起来更难调。SGLang-Omni 把预处理、编码器、自回归引擎、vocoder 拆成可编排阶段,每段配专属调度,对外统一暴露 /v1/audio/speech。Fish Audio、MiniMax 音乐等模型都已 day-0 支持。

Github
项目 效率工具 v1.0.0 热度 265

项目说明

sglang-omni 是什么

SGLang-Omni 是面向交互式智能系统的高性能推理运行时,出自 SGLang 团队。它把模型生成拆成相互协调的阶段,每段配一个匹配其负载的调度器:从 SGLang 支撑的自回归调度,到轻量的预处理与流式 vocoder 循环。原生全双工模型、轮次式多模态模型和级联系统,都通过可组合的图与持久会话统一编排。

阶段职责
预处理输入整理,轻量调度
编码器把音频、文本转成模型可用的表示
自回归引擎SGLang 支撑的生成调度
Talkers 与解码器生成与解码头
Vocoder流式波形合成
聚合器把各阶段结果拼成对外响应

已支持 Fish Audio Drama 3 多说话人 TTS、MiniMax Music 3、MOSS-TTS、Higgs Audio 等一批语音与音乐模型,多数是 day-0 接入。

sglang-omni 怎么安装

uv pip install --prerelease=allow "sglang-omni==0.2.0"

完整安装步骤(含硬件相关部分)见官方 Installation 文档。

sglang-omni 怎么使用

  1. 按官方安装文档装好 v0.2.0。
  2. 起服务,语音生成走 /v1/audio/speech。
  3. 要编辑已有语音,走 /generate 端点,输入音频加编辑指令。
  4. 多说话人、带自然语言控制的长文本 TTS 用对应模型即可,接口保持一致。
  5. 参考资料在 cookbook 与博客里逐模型给出。

sglang-omni 适合谁用

  • 要做语音交互、TTS 服务的后端工程师。
  • 需要高吞吐、低延迟语音推理的团队。
  • 想跟进最新语音与音乐模型接入的开发者。

sglang-omni 项目地址

  • GitHub 仓库:https://github.com/sgl-project/sglang-omni
  • 官方文档:https://sgl-project.github.io/sglang-omni/
  • PyPI:https://pypi.org/project/sglang-omni/