WorldCast

作者 我是贝东

做视频生成最头疼的:镜头一转,人就变了样。WorldCast 专治这个——给一张角色照片加相机轨迹,能生成镜头绕角色转 360 度的视频,转到背面也不变脸。需要显存 48GB 以上的显卡。

Github
项目 创作设计 v1.0.0 热度 314

项目说明

WorldCast 是什么

指标 数值
身份相似度 ArcFace 0.555
轨迹误差 ATE 0.065
旋转误差 RRE 0.896
角色一致性 MEt3R 0.228
显存需求 不低于 48GB
开源协议 Apache 2.0

WorldCast 是武汉大学联合小米开源的视频生成模型。输入一张角色参考图、目标相机轨迹和 1 到 4 张任意视角锚点图,就能生成相机绕角色 360 度旋转、且身份不崩的视频。

它靠两条机制实现:一套管相机轨迹,把参考图还原成三维点云,沿轨迹渲染逐帧引导;另一套管跨视角,把锚点图存成可检索的记忆,镜头转到哪一面就调取哪一面的信息——这样背对镜头时也不会变脸。

在自建的 CLACT 基准上,身份相似度 ArcFace 达 0.555,轨迹误差 ATE 0.065,均为对比方法中最佳。消融实验显示,去掉记忆注意力机制后 ArcFace 从 0.555 暴跌至 0.370,说明跨视角一致性的收益来源清晰可验证。

WorldCast 怎么安装

需要 NVIDIA 显卡,且显存不低于 48GB(14B 扩散模型)。

git clone https://github.com/PixCtrol/WorldCast cd WorldCast pip install -r requirements.txt 环境要求 Python 3.10 以上、支持 bf16 的 CUDA 显卡。

下载权重:从 HuggingFace 下载 Wan2.1-I2V-14B-720P 底座,放入 pretrained/Wan2.1-I2V-14B-720P/ 目录;再把 base_dit.safetensors 与 worldcast_bank.safetensors 放入 checkpoints/ 目录。

WorldCast 怎么使用

准备输入:放入 1 张角色参考图和 1 到 4 张锚点图,在 manifest 清单文件中指定图像路径、文本提示和相机轨迹。

运行推理:

python demo.py --manifest demo_case_traj5.json --model_root pretrained/Wan2.1-I2V-14B-720P --ckpt checkpoints/worldcast_bank.safetensors --init_dit_from checkpoints/base_dit.safetensors

批量推理:参考 scripts/infer/infer_worldcast.py 与 launch/infer/run_anchor_inference_example.sh。

自定义轨迹:用 scripts/data/trajectories.py 生成新的相机运动路径。

WorldCast 适合谁用

虚拟角色展示:让镜头绕角色 360 度旋转展示,服装、手办、虚拟偶像的外观细节始终一致

虚拟拍摄预演:实拍前用角色替身按拟定机位轨迹预演运镜,验证分镜效果,降低实拍试错成本

数字人多视角素材:生成数字人转身、侧写、背影等多角度素材,保持同一张脸

游戏角色动画:为游戏过场或角色展示页生成环绕运镜动画,省去多视角建模渲染的重复成本

电商产品动画:围绕商品生成旋转展示视频,用于详情页与广告素材

WorldCast 项目地址

GitHub 仓库:https://github.com/PixCtrol/WorldCast

项目官网:https://pixctrol.github.io/WorldCast/

HuggingFace 模型库:https://huggingface.co/ly56/worldcast

技术论文:https://arxiv.org/pdf/2610.33135