[技术] VAST 开源实时世界模型 EdenLive:单卡 5090 跑 720P、24 帧,边玩边生成画面

🌲Lv.3 初级 🌏 正式会员
2026-10-21 16:26:07
在游戏里走到一扇门前,不确定能不能进去,通常的做法是先退两步、再跳两下看看能不能翻墙。这种操作对 AI 生成画面来说几乎是灾难——玩家可能突然停下、突然转身、突然跑跳,而每一帧都得稳定在线。

VAST 开源了 EdenLive,这是 Project Eden 系列里的实时生成式渲染器。它的思路是先解耦:游戏里发生了什么、血条该扣多少、有没有踢中对手,全由上游交互系统判断并更新状态;EdenLive 只负责把这些状态画出来。

三类输入分工明确:参考视频决定场景布局、镜头运动、物体轨迹和事件发生的时间;目标首帧决定主体、材质、配色和画风;文本提示词补充风格与细节。参考不必是做完美术的游戏——粗糙的 3D 白模、2D 场景、甚至一段真实录像都行。同一段参考换个首帧、改句提示词,就能在写实、手绘线稿、卡通、像素、油画之间切换。

性能数据是这次最硬的部分:EdenLive 5B 在单张消费级显卡 RTX 5090 上,能以超过 24 FPS 生成 720P 画面,并支持分钟级连续生成。评测用 Gemini-3.8-Flash 对 45 个长时案例做盲评(每组交换顺序各评一次再算 Elo),在参考遵循、首帧一致性、物理合理性、画质、避免外观泄漏五个维度上,14B 和 5B 全部排前二;参考遵循一项,14B 得 1704 分,比第二名高出约 200。

配套还开源了 EdenGolem v0.1,一个给编程智能体用的 skill:输入一段玩法描述,四个阶段依次做玩法设计、场景搭建、交互逻辑和界面完善,产出可独立运行的 3D 灰盒游戏,目前覆盖解谜、射击、驾驶、冒险、竞技场、格斗。

我觉得最有意思的用途是具身数据增强。机器人训练不缺「人怎么擦桌子」,缺的是「从机器人眼睛看出去,机械手怎么靠近、抓住、完成动作」。找人戴头戴相机拍一天很容易,但画面里是人的手臂和五指,机器人部署时看到的却是机械臂和夹爪。用 EdenLive 把执行者换成机械手、保留动作和空间关系,原料就顺手了很多。

世界模型需要解耦状态与渲染,这句话在这次开源里算是给出了一个可复现的实现。

原文链接:https://www.ifanr.com/1685059
来源:爱范儿
我就是我,不一样的烟火🎇
| 浏览 11 次 | 回复 0 次

全部回复 (0)

暂无回复

请 登录