项目说明
WeVisOne-VL 是什么
WeVisOne-VL 是腾讯微信视觉团队开源的视觉-语言基础模型,基于 Qwen3-VL,提供 2B 和 4B 两个版本,Apache 2.0 许可。
它用统一的结构化 token 预测方式,让一个模型同时完成检测、指代定位、计数、指点、OCR、指代分割、可提示抠图七类任务。通过一个仅 960 万参数的像素解码器直接输出掩码或发丝级抠图,无需外挂 SAM。
| 能力 | WeVisOne-VL-4B | Qwen3-VL-8B |
|---|---|---|
| 任务覆盖 | 七类任务合一 | 通用图文理解 |
| 像素级输出 | 内置解码器直出掩码与 alpha | 需外接 SAM |
| 拒识(WeRef-Bench) | 96.4% | 18.3% |
| 检测(LVIS) | 55.3 | 50.7 |
| 计数(PixMo-Count) | 89.6 | 82.8 |
| OCR(TotalText) | 52.0 | 43.3 |
WeVisOne-VL 怎么安装
- 从 GitHub 克隆
Tencent/WeVisOne-VL仓库,按 README 安装依赖环境。 - 从 Hugging Face 下载
WeVisOne-VL-2B或WeVisOne-VL-4B权重。 - 也可以直接打开官网演示页试用,无需本地部署。
WeVisOne-VL 怎么使用
- 构造任务提示:按任务在 prompt 里写明需求,如检测写
Locate all the instances of …,抠图要求输出 alpha;也可用<ref>、<box>、<point>等结构化标签传入已有标注。 - 调用推理:用仓库提供的
model.predict()接口把图片加提示送入模型。 - 解析输出:坐标从
<0>–<1000>专用 token 还原为归一化坐标,<OBJ>触发像素解码器输出掩码或 alpha;目标不存在时直接返回None。 - 后处理应用:把框、掩码或抠图结果映射回原图尺寸,用于检索、标注、换背景等下游任务。
WeVisOne-VL 的技术要点
坐标即 token:模型把坐标离散化为 1001 个专用 token,一个框恰好占 4 个 token、一个点占 2 个 token,检测框、文字位置和像素掩码都用同一套词表表达,换任务只是换 prompt 前缀。
内嵌解码器替代 SAM 级联:底座外接的小模块先取预合并前的四层 ViT 特征经深度卷积细化成共享金字塔,再经 6 个可变形交叉注意力块迭代细化,最后由实例条件稠密头从 S/4 到 S/1 逐级恢复发丝级全分辨率 alpha。
数据规模:累计标注超 1 亿张图、约 36 亿个目标框,经三阶段课程式微调加强化学习,在 30 余个基准上领先同类模型。
WeVisOne-VL 适合谁用
- 做电商商品图、需要一键生成白底图和换背景的团队
- 要把发票、合同、表单转成带坐标结构化数据的业务
- 需要“图里没有就说没有”的可靠检测,受不了 VLM 硬凑答案的内容审核场景
- 端侧部署做环境感知、希望避免“把空气当障碍物”的机器人开发者
WeVisOne-VL 项目地址
- 项目官网:https://tencent.github.io/WeVisOne-VL/
- GitHub 仓库:https://github.com/Tencent/WeVisOne-VL
- HuggingFace 模型库:https://huggingface.co/collections/tencent/wevisone-vl
- 技术论文:https://arxiv.org/pdf/2610.31329