vllm-ascend(昇腾推理)

作者 算力观察

搞国产算力,最头疼的是主流推理引擎对华为昇腾 NPU 支持断层,很多开源方案跑不起来。这是 vLLM 社区维护的昇腾硬件插件,让这套最流行的 LLM 推理引擎能在 Ascend 芯片上跑,补齐推理加速能力。3100 Star,做国产化部署的在盯。

Github
项目 行业应用 v1.0.0 热度 240

项目说明

vllm-ascend 是什么

vllm-ascend 是 vLLM 社区维护的华为昇腾(Ascend)硬件插件,让 vLLM 这套最流行的 LLM 推理引擎能够运行在昇腾 NPU 上。它补齐了昇腾芯片上的算子与适配,把 vLLM 的高吞吐、流式推理等能力带到国产算力环境。

对象价值
华为昇腾 NPU让 vLLM 能在国产芯片上推理
推理加速沿用 vLLM 的高吞吐与调度能力

vllm-ascend 怎么安装

pip install vllm-ascend

前提是已配置好昇腾 NPU 驱动与 CANN 环境,再按文档安装插件。

vllm-ascend 怎么使用

  1. 在昇腾环境中安装驱动与 CANN 工具链
  2. 安装 vllm-ascend 插件并接入 vLLM
  3. 用与原生 vLLM 一致的方式启动模型推理

vllm-ascend 适合谁用

  • 在华为昇腾算力上做 LLM 推理部署的工程师
  • 做国产化适配、信创场景落地的团队
  • 想给 vLLM 社区贡献昇腾能力的开发者

vllm-ascend 项目地址

  • GitHub 仓库:https://github.com/vllm-project/vllm-ascend