WeVisOne-VL(微信视觉模型)

作者 设施特

检测、指代定位、计数、OCR、分割、抠图,以前要拼好几个模型才能做完,还得外挂 SAM。WeVisOne-VL 是腾讯微信视觉团队开源的 2B/4B 视觉语言模型,用 960 万参数的小解码器直出掩码和发丝级抠图,一个模型干七类活,拒识准确率 96.4%,几乎减半抠图误差。

Github
项目 创作设计 v1.0.0 热度 412

项目说明

WeVisOne-VL 是什么

WeVisOne-VL 是腾讯微信视觉团队开源的视觉-语言基础模型,基于 Qwen3-VL,提供 2B 和 4B 两个版本,Apache 2.0 许可。

它用统一的结构化 token 预测方式,让一个模型同时完成检测、指代定位、计数、指点、OCR、指代分割、可提示抠图七类任务。通过一个仅 960 万参数的像素解码器直接输出掩码或发丝级抠图,无需外挂 SAM。

能力WeVisOne-VL-4BQwen3-VL-8B
任务覆盖七类任务合一通用图文理解
像素级输出内置解码器直出掩码与 alpha需外接 SAM
拒识(WeRef-Bench)96.4%18.3%
检测(LVIS)55.350.7
计数(PixMo-Count)89.682.8
OCR(TotalText)52.043.3

WeVisOne-VL 怎么安装

  1. 从 GitHub 克隆 Tencent/WeVisOne-VL 仓库,按 README 安装依赖环境。
  2. 从 Hugging Face 下载 WeVisOne-VL-2B 或 WeVisOne-VL-4B 权重。
  3. 也可以直接打开官网演示页试用,无需本地部署。

WeVisOne-VL 怎么使用

  1. 构造任务提示:按任务在 prompt 里写明需求,如检测写 Locate all the instances of …,抠图要求输出 alpha;也可用 <ref>、<box>、<point> 等结构化标签传入已有标注。
  2. 调用推理:用仓库提供的 model.predict() 接口把图片加提示送入模型。
  3. 解析输出:坐标从 <0>–<1000> 专用 token 还原为归一化坐标,<OBJ> 触发像素解码器输出掩码或 alpha;目标不存在时直接返回 None。
  4. 后处理应用:把框、掩码或抠图结果映射回原图尺寸,用于检索、标注、换背景等下游任务。

WeVisOne-VL 的技术要点

坐标即 token:模型把坐标离散化为 1001 个专用 token,一个框恰好占 4 个 token、一个点占 2 个 token,检测框、文字位置和像素掩码都用同一套词表表达,换任务只是换 prompt 前缀。

内嵌解码器替代 SAM 级联:底座外接的小模块先取预合并前的四层 ViT 特征经深度卷积细化成共享金字塔,再经 6 个可变形交叉注意力块迭代细化,最后由实例条件稠密头从 S/4 到 S/1 逐级恢复发丝级全分辨率 alpha。

数据规模:累计标注超 1 亿张图、约 36 亿个目标框,经三阶段课程式微调加强化学习,在 30 余个基准上领先同类模型。

WeVisOne-VL 适合谁用

  • 做电商商品图、需要一键生成白底图和换背景的团队
  • 要把发票、合同、表单转成带坐标结构化数据的业务
  • 需要“图里没有就说没有”的可靠检测,受不了 VLM 硬凑答案的内容审核场景
  • 端侧部署做环境感知、希望避免“把空气当障碍物”的机器人开发者

WeVisOne-VL 项目地址

  • 项目官网:https://tencent.github.io/WeVisOne-VL/
  • GitHub 仓库:https://github.com/Tencent/WeVisOne-VL
  • HuggingFace 模型库:https://huggingface.co/collections/tencent/wevisone-vl
  • 技术论文:https://arxiv.org/pdf/2610.31329