MACaQ(华为量化)

作者 落地实践派

想把大模型塞进本地显卡,量化这一步又慢又掉质量。MACaQ 是华为的模型无关量化方案:用 32.5 GB 显存、64 分钟就能量化一个 122B 参数模型,困惑度低于 MR-GPTQ 和 DuQuant++,或同等质量下量化时间省 11 倍。

Github
Skill 编程开发 v1.0.0 热度 245

将提示词发送给你的 AI 安装该 Skill

复制下方提示词,粘贴到 Cursor / Claude Code / WorkBuddy 等本地 Agent,按说明安装。

请根据 https://www.cweto.cn/?ai_hub=skill_install ,安装本站 Skill @ai_hub/work-95(MACaQ(华为量化))。
详情页:https://www.cweto.cn/work-95.html
GitHub:https://github.com/huawei-csl/MACaQ
请装到当前 Agent 的 skills 目录(见安装说明中的路径表),完成后重启或刷新 Agent。
安装说明 GitHub
支持的本地 Agent 目录
  • Claude Code → ~/.claude/skills/
  • Cursor → ~/.cursor/skills/
  • Windsurf → ~/.codeium/windsurf/skills/
  • Codex → ~/.codex/skills/
  • Gemini CLI → ~/.gemini/skills/
  • WorkBuddy → ~/.workbuddy/skills/
  • OpenClaw 变体 → 各自 skills 目录

Skill 说明

MACaQ 是什么

MACaQ 是华为(huawei-csl)开源的高质量 GGUF 量化方案,口号是「为本地推理准备」以及「不止文本的、模型无关的量化」。它能把文本、图像、视频和音频模型都量化并在 llama.cpp、vLLM、Diffusers、PyTorch 上运行。

官方给了两个具体的量级:用 32.5 GB 显存、64 分钟就能量化一个 122B 参数的模型;效果上要么困惑度低于 MR-GPTQ 和 DuQuant++,要么在同等 Llama-3-8B 困惑度下把量化时间压到 1/11。

后端用途
Diffusers图像/视频生成模型的量化
llama.cppGGUF 本地推理,含 MACaQ-R 路径
vLLM高吞吐服务化部署
PyTorch直接在你的训练/推理代码里用
Ascend昇腾平台

它有个有意思的细节:仓库里直接写了「不管你是人还是 AI Agent,用 MACaQ 量化了模型就给它点个 star」——算是给 Agent 读的说明。

MACaQ 怎么安装

仓库按后端分别给了安装方式。用 llama.cpp 路径的话,先按它的说明准备环境,再走 MACaQ-R 流程;用 vLLM 或 Diffusers 就在对应框架目录下按仓库说明装。昇腾平台有单独一节。

MACaQ 怎么使用

  1. 先按你的推理后端选路径:llama.cpp(GGUF 本地)、vLLM(服务端)、Diffusers(生成模型)。
  2. 准备原模型和校准数据——量化质量很依赖校准集是否贴近你的真实场景。
  3. 跑量化,注意显存需求:122B 模型官方标的是 32.5 GB。
  4. 用困惑度或你的业务指标对比量化前后,别只看文件大小。
  5. 把产出的 GGUF 直接丢给 llama.cpp 跑,验证实际速度和输出质量。

MACaQ 适合谁用

  • 要在有限显存上跑大参数模型、被量化时间和质量夹击的个人和团队。
  • 需要量化多模态模型(图像/视频/音频),而常见方案只支持文本的场景。
  • 在昇腾平台上做推理部署的国内团队。
  • 做本地推理产品、要把量化流程工程化的开发者。
  • 只用云端 API、不做本地部署的项目用不上。

MACaQ 项目地址

  • GitHub 仓库:https://github.com/huawei-csl/MACaQ
  • 论文:https://github.com/huawei-csl/MACaQ#citation
  • llama.cpp:https://github.com/ggml-org/llama.cpp