llama.cpp(本地跑大模型)

作者 AI脉搏

想在本地或自己的服务器上跑大模型,最烦的是依赖一堆、装完发现显存不够。llama.cpp 是纯 C/C++ 的推理引擎,量化到 1.5 bit 也能跑,CPU 和 GPU 可以混合加速。GitHub 13.4 万星。

Github
项目 效率工具 v1.0.0 热度 375

项目说明

llama.cpp 是什么

llama.cpp 是把大语言模型和多模态模型跑在普通硬件上的推理引擎,目标只有两个:几乎不用配置就能跑起来,以及在各种硬件上都有接近最好的性能。

它整个是纯 C/C++ 实现、不带外部依赖:Apple 芯片走 Metal,x86 有 AVX/AVX2/AVX512/AMX 优化,RISC-V 也有对应指令集支持,NVIDIA 显卡用自研 CUDA 内核,AMD 走 HIP,摩尔线程走 MUSA。显存不够时可以 CPU + GPU 混合推理,把比整卡显存更大的模型也加载起来。

后端典型硬件说明
MetalApple M 系列一等公民,ARM NEON + Accelerate 优化
CUDA / HIP / MUSANVIDIA / AMD / 摩尔线程专用内核,支持 1.5–8 bit 整数量化
Vulkan / SYCL跨厂商 GPU通用图形接口加速
CPU + GPU 混合显存不足时部分层放显存,其余跑 CPU

llama.cpp 怎么安装

# macOS / Linux
curl -LsSf https://llama.app/install.sh | sh

# Windows PowerShell
irm https://llama.app/install.ps1 | iex

也可以用 Docker 镜像,或从 releases 页面下载预编译二进制,第三种是克隆仓库按 build 指南自己编译。

llama.cpp 怎么使用

  1. 直接从 Hugging Face 拉模型并对话:llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
  2. 需要接口服务时启动:llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF,得到 OpenAI 兼容的 API
  3. 换成自己想要的 GGUF 仓库名即可切换模型
  4. 客户端按 OpenAI 的 chat/completions 格式请求这个本地地址

llama.cpp 适合谁用

  • 想在自己笔记本或台式机上离线跑模型的个人用户
  • 需要把推理放进内网、不能出公网的企业
  • 做端侧 AI 产品、要一个轻量推理后端的开发者

llama.cpp 项目地址

  • GitHub 仓库:https://github.com/ggml-org/llama.cpp
  • 网站:https://llama.app