项目说明
sglang-omni 是什么
SGLang-Omni 是面向交互式智能系统的高性能推理运行时,出自 SGLang 团队。它把模型生成拆成相互协调的阶段,每段配一个匹配其负载的调度器:从 SGLang 支撑的自回归调度,到轻量的预处理与流式 vocoder 循环。原生全双工模型、轮次式多模态模型和级联系统,都通过可组合的图与持久会话统一编排。
| 阶段 | 职责 |
|---|---|
| 预处理 | 输入整理,轻量调度 |
| 编码器 | 把音频、文本转成模型可用的表示 |
| 自回归引擎 | SGLang 支撑的生成调度 |
| Talkers 与解码器 | 生成与解码头 |
| Vocoder | 流式波形合成 |
| 聚合器 | 把各阶段结果拼成对外响应 |
已支持 Fish Audio Drama 3 多说话人 TTS、MiniMax Music 3、MOSS-TTS、Higgs Audio 等一批语音与音乐模型,多数是 day-0 接入。
sglang-omni 怎么安装
uv pip install --prerelease=allow "sglang-omni==0.2.0"
完整安装步骤(含硬件相关部分)见官方 Installation 文档。
sglang-omni 怎么使用
- 按官方安装文档装好 v0.2.0。
- 起服务,语音生成走
/v1/audio/speech。 - 要编辑已有语音,走
/generate端点,输入音频加编辑指令。 - 多说话人、带自然语言控制的长文本 TTS 用对应模型即可,接口保持一致。
- 参考资料在 cookbook 与博客里逐模型给出。
sglang-omni 适合谁用
- 要做语音交互、TTS 服务的后端工程师。
- 需要高吞吐、低延迟语音推理的团队。
- 想跟进最新语音与音乐模型接入的开发者。
sglang-omni 项目地址
- GitHub 仓库:https://github.com/sgl-project/sglang-omni
- 官方文档:https://sgl-project.github.io/sglang-omni/
- PyPI:https://pypi.org/project/sglang-omni/