项目说明
WorldCast 是什么
| 指标 | 数值 |
|---|---|
| 身份相似度 ArcFace | 0.555 |
| 轨迹误差 ATE | 0.065 |
| 旋转误差 RRE | 0.896 |
| 角色一致性 MEt3R | 0.228 |
| 显存需求 | 不低于 48GB |
| 开源协议 | Apache 2.0 |
WorldCast 是武汉大学联合小米开源的视频生成模型。输入一张角色参考图、目标相机轨迹和 1 到 4 张任意视角锚点图,就能生成相机绕角色 360 度旋转、且身份不崩的视频。
它靠两条机制实现:一套管相机轨迹,把参考图还原成三维点云,沿轨迹渲染逐帧引导;另一套管跨视角,把锚点图存成可检索的记忆,镜头转到哪一面就调取哪一面的信息——这样背对镜头时也不会变脸。
在自建的 CLACT 基准上,身份相似度 ArcFace 达 0.555,轨迹误差 ATE 0.065,均为对比方法中最佳。消融实验显示,去掉记忆注意力机制后 ArcFace 从 0.555 暴跌至 0.370,说明跨视角一致性的收益来源清晰可验证。
WorldCast 怎么安装
需要 NVIDIA 显卡,且显存不低于 48GB(14B 扩散模型)。
git clone https://github.com/PixCtrol/WorldCast cd WorldCast pip install -r requirements.txt 环境要求 Python 3.10 以上、支持 bf16 的 CUDA 显卡。
下载权重:从 HuggingFace 下载 Wan2.1-I2V-14B-720P 底座,放入 pretrained/Wan2.1-I2V-14B-720P/ 目录;再把 base_dit.safetensors 与 worldcast_bank.safetensors 放入 checkpoints/ 目录。
WorldCast 怎么使用
准备输入:放入 1 张角色参考图和 1 到 4 张锚点图,在 manifest 清单文件中指定图像路径、文本提示和相机轨迹。
运行推理:
python demo.py --manifest demo_case_traj5.json --model_root pretrained/Wan2.1-I2V-14B-720P --ckpt checkpoints/worldcast_bank.safetensors --init_dit_from checkpoints/base_dit.safetensors
批量推理:参考 scripts/infer/infer_worldcast.py 与 launch/infer/run_anchor_inference_example.sh。
自定义轨迹:用 scripts/data/trajectories.py 生成新的相机运动路径。
WorldCast 适合谁用
虚拟角色展示:让镜头绕角色 360 度旋转展示,服装、手办、虚拟偶像的外观细节始终一致
虚拟拍摄预演:实拍前用角色替身按拟定机位轨迹预演运镜,验证分镜效果,降低实拍试错成本
数字人多视角素材:生成数字人转身、侧写、背影等多角度素材,保持同一张脸
游戏角色动画:为游戏过场或角色展示页生成环绕运镜动画,省去多视角建模渲染的重复成本
电商产品动画:围绕商品生成旋转展示视频,用于详情页与广告素材
WorldCast 项目地址
GitHub 仓库:https://github.com/PixCtrol/WorldCast
项目官网:https://pixctrol.github.io/WorldCast/
HuggingFace 模型库:https://huggingface.co/ly56/worldcast