项目说明
vllm-ascend 是什么
vllm-ascend 是 vLLM 社区维护的华为昇腾(Ascend)硬件插件,让 vLLM 这套最流行的 LLM 推理引擎能够运行在昇腾 NPU 上。它补齐了昇腾芯片上的算子与适配,把 vLLM 的高吞吐、流式推理等能力带到国产算力环境。
| 对象 | 价值 |
|---|---|
| 华为昇腾 NPU | 让 vLLM 能在国产芯片上推理 |
| 推理加速 | 沿用 vLLM 的高吞吐与调度能力 |
vllm-ascend 怎么安装
pip install vllm-ascend前提是已配置好昇腾 NPU 驱动与 CANN 环境,再按文档安装插件。
vllm-ascend 怎么使用
- 在昇腾环境中安装驱动与 CANN 工具链
- 安装 vllm-ascend 插件并接入 vLLM
- 用与原生 vLLM 一致的方式启动模型推理
vllm-ascend 适合谁用
- 在华为昇腾算力上做 LLM 推理部署的工程师
- 做国产化适配、信创场景落地的团队
- 想给 vLLM 社区贡献昇腾能力的开发者
vllm-ascend 项目地址
- GitHub 仓库:https://github.com/vllm-project/vllm-ascend