项目说明
EvaOmni 是什么
EvaOmni 是由上海交大、复旦、腾讯优图等机构联合开源的全模态大模型评测基准。和只判断"答案对不对"的传统题库不同,它要求模型在作答时一并交出支撑结论的音频时间区间和视频时间区间——答对但指不出依据,同样拿不到分。
数据集包含 392 段真实视频、1027 道人工标注问答,覆盖 15 种能力与 3 个推理层级。评分由三项构成:
Acc.(答案准确率):视听选择题答对与否
C.G.(证据覆盖度):人工标注的证据段有没有被命中
B.G.(双模态瓶颈定位):分别计算音频与视频的时序重叠度,取较弱一方定分
其中 B.G. 取短板模态的设计,从机制上杜绝了用强模态掩盖弱模态。
实测 24 个模型中,最强的 Gemini3.7-Flash 准确率 79.4%,双模态定位却只有 35.1%,与人类专家的 94.3% 相差近 59 个百分点。
EvaOmni 怎么安装
基于 ModelScope 分发数据集,先装官方 SDK:
pip install -U modelscope 然后用 dataset_snapshot_download 拉取数据集:
from modelscope import dataset_snapshot_download dataset_snapshot_download('VisionXLab/EvaOmni-Dataset') 评测框架本体从 GitHub 克隆,按 README 配置 Python 环境与依赖。
EvaOmni 怎么使用
准备输入:预处理视频并配套对应音频,整理成评测协议要求格式
接入模型:按 GitHub 说明接入待评模型,用统一提示词让模型输出三元组(选项、音频时间戳集合、视频时间戳集合)
批量推理:调用评测框架在全部 1027 道问答上跑一遍,程序自动核对答案与区间匹配
读取结果:查看 Acc.、C.G.、B.G. 三项指标及三级能力分层成绩,与官方排行榜对比
EvaOmni 适合谁用
模型团队:给自研 Omni 模型做能力体检,发现"答案涨了但证据定位没跟上"的断层
企业采购:用 B.G. 瓶颈定位分筛选真正双模态可靠的模型,适合金融、政务等要求可核对依据的场景
产品团队:做视频问答、视频审核、影视解说类产品时,可直接采用它的时间区间输出标准作为验收指标
学术研究:基于这 392 段带证据标注的视频,开展视听推理、时序定位、多跳推理等方向研究
EvaOmni 项目地址
GitHub 仓库:https://github.com/VisionXLab/EvaOmni
项目官网:https://xiaoxing2001.github.io/EvaOmni.github.io/
数据集:https://huggingface.co/datasets/VisionXLab/EvaOmni-Dataset