TensorFold(本地推理引擎)

作者 提示词工坊

在本机跑大模型,通常要装 Python、配 MLX 或 CUDA,环境一崩就重来。TensorFold 用一个 Zig 二进制直接读权重、跑 Metal 或 CUDA 内核,不需要 Python。GitHub 2080 星。

Github
项目 效率工具 v1.0.0 热度 250

项目说明

TensorFold 是什么

TensorFold 是用 Zig 写的模型服务端,跑在 Apple 芯片和 NVIDIA 显卡上。它自己读 checkpoint、自己做分词、直接调 Metal 或 CUDA 内核,所以服务一个模型不需要装 Python,也不需要 MLX。

配套还有一个 macOS 图形客户端,方便不写命令的人直接选模型开聊。企业版和实验性的权重热更新能力在仓库里也有说明。

维度TensorFoldPython 推理栈
运行依赖单个 Zig 二进制Python 环境 + 框架 + 驱动
加速后端Metal、CUDA 内核直连经 MLX / PyTorch 间接调用
桌面客户端自带 Mac App一般需要另配前端

TensorFold 怎么安装

# macOS(Apple 芯片)
brew install ashhart/tensorfold/tensorfold

Linux + NVIDIA 机器按 README 的对应小节安装后即可 serve,不需要额外装 CUDA Python 绑定。

TensorFold 怎么使用

  1. 先拉模型:tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit
  2. 起服务:tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking
  3. 保持服务运行,另开终端发请求
  4. 上下文吃紧时可以开上下文压缩,长文档也不会直接撑爆窗口

TensorFold 适合谁用

  • Mac 或 NVIDIA 机器上想轻量跑模型的个人用户
  • 不想在生产机上维护 Python 依赖的运维和平台团队
  • 关注推理引擎实现、愿意读 Zig 代码的开发者

TensorFold 项目地址

  • GitHub 仓库:https://github.com/ashhart/TensorFold