项目说明
LifeVal 是什么
LifeVal 是 OpenAI 推出的评测基准,用来衡量 AI 帮人办成日常事务的能力,而不是答对题的能力。
任务基于美国时间使用调查、跨国时间使用研究,以及一项覆盖 3995 人的代表性调查构建,涵盖托育、健康、教育、家庭行政、个人财务、购物、获取政府服务等真实生活领域。
评测关注的是"事情是否被办成"——模型要理解带约束的需求、搜集比对信息、做出取舍决策并交付可用成果,而不是给出一段聊天式建议。
官方数据显示,按未加权平均奖励计算,模型成绩已从 GPT-5.2 的 49.3% 提升到 GPT-6 Astra 的 80.6%。
LifeVal 怎么安装
LifeVal 目前未公开数据集、代码或评测入口,普通用户和开发者暂时无法直接运行或本地部署。
如需了解具体任务设计与评测口径,可查看 OpenAI 官方发布页:https://openai.com/index/lifeval/
想评测自己模型的日常任务能力,可参考类似的开放基准,例如 OSWorld(完全开源,含环境、任务、基线模型与评估脚本)。
LifeVal 怎么使用
由于未开源,无法直接调用。目前可用的方式是通过 OpenAI 官方公布的成绩单了解主流模型表现:
看官方发布页,了解 LifeVal 的任务构成与评分口径
对比模型分数,判断不同版本在日常生活任务上的能力差异
借鉴方法论自建评测:参考它的用户调研驱动式任务设计,为中文场景构建类似的日常任务评测集
如果只是想知道自己的模型在真实电脑操作任务上表现如何,可以直接用 OSWorld 本地部署跑分。
LifeVal 适合谁用
模型研发团队:作为回归测试,跟踪新版本在日常任务上是否退化
Agent 产品团队:依据基准暴露的薄弱环节,针对性训练浏览器操作、电脑使用和连接器调用能力
AI 评测从业者:借鉴其"用户调研驱动任务设计"的方法论,构建面向中文用户的日常任务评测
关注 AI 实用性的用户:据此判断某个模型是否真的能替自己处理生活事务
LifeVal 项目地址
官方发布页:https://openai.com/index/lifeval/
OpenAI 官网:https://openai.com/