项目说明
TensorFold 是什么
TensorFold 是用 Zig 写的模型服务端,跑在 Apple 芯片和 NVIDIA 显卡上。它自己读 checkpoint、自己做分词、直接调 Metal 或 CUDA 内核,所以服务一个模型不需要装 Python,也不需要 MLX。
配套还有一个 macOS 图形客户端,方便不写命令的人直接选模型开聊。企业版和实验性的权重热更新能力在仓库里也有说明。
| 维度 | TensorFold | Python 推理栈 |
|---|---|---|
| 运行依赖 | 单个 Zig 二进制 | Python 环境 + 框架 + 驱动 |
| 加速后端 | Metal、CUDA 内核直连 | 经 MLX / PyTorch 间接调用 |
| 桌面客户端 | 自带 Mac App | 一般需要另配前端 |
TensorFold 怎么安装
# macOS(Apple 芯片)
brew install ashhart/tensorfold/tensorfold
Linux + NVIDIA 机器按 README 的对应小节安装后即可 serve,不需要额外装 CUDA Python 绑定。
TensorFold 怎么使用
- 先拉模型:tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit
- 起服务:tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking
- 保持服务运行,另开终端发请求
- 上下文吃紧时可以开上下文压缩,长文档也不会直接撑爆窗口
TensorFold 适合谁用
- Mac 或 NVIDIA 机器上想轻量跑模型的个人用户
- 不想在生产机上维护 Python 依赖的运维和平台团队
- 关注推理引擎实现、愿意读 Zig 代码的开发者
TensorFold 项目地址
- GitHub 仓库:https://github.com/ashhart/TensorFold