项目说明
llama.cpp 是什么
llama.cpp 是把大语言模型和多模态模型跑在普通硬件上的推理引擎,目标只有两个:几乎不用配置就能跑起来,以及在各种硬件上都有接近最好的性能。
它整个是纯 C/C++ 实现、不带外部依赖:Apple 芯片走 Metal,x86 有 AVX/AVX2/AVX512/AMX 优化,RISC-V 也有对应指令集支持,NVIDIA 显卡用自研 CUDA 内核,AMD 走 HIP,摩尔线程走 MUSA。显存不够时可以 CPU + GPU 混合推理,把比整卡显存更大的模型也加载起来。
| 后端 | 典型硬件 | 说明 |
|---|---|---|
| Metal | Apple M 系列 | 一等公民,ARM NEON + Accelerate 优化 |
| CUDA / HIP / MUSA | NVIDIA / AMD / 摩尔线程 | 专用内核,支持 1.5–8 bit 整数量化 |
| Vulkan / SYCL | 跨厂商 GPU | 通用图形接口加速 |
| CPU + GPU 混合 | 显存不足时 | 部分层放显存,其余跑 CPU |
llama.cpp 怎么安装
# macOS / Linux
curl -LsSf https://llama.app/install.sh | sh
# Windows PowerShell
irm https://llama.app/install.ps1 | iex
也可以用 Docker 镜像,或从 releases 页面下载预编译二进制,第三种是克隆仓库按 build 指南自己编译。
llama.cpp 怎么使用
- 直接从 Hugging Face 拉模型并对话:llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
- 需要接口服务时启动:llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF,得到 OpenAI 兼容的 API
- 换成自己想要的 GGUF 仓库名即可切换模型
- 客户端按 OpenAI 的 chat/completions 格式请求这个本地地址
llama.cpp 适合谁用
- 想在自己笔记本或台式机上离线跑模型的个人用户
- 需要把推理放进内网、不能出公网的企业
- 做端侧 AI 产品、要一个轻量推理后端的开发者
llama.cpp 项目地址
- GitHub 仓库:https://github.com/ggml-org/llama.cpp
- 网站:https://llama.app