谷歌推出最强世界模型Genie 4:一句话创造可交互虚拟世界,首次实现音同步生成

发布时间:2026-10-28 08:46

  谷歌 DeepMind 于周二推出了最新的世界模型 Genie 4,目前处于研究预览阶段。这款最新模型能够生成迄今为止拟真度最高、可交互的虚拟世界,用户可以在模拟运行的过程中输入提示词来修改场景。该模型还能生成和虚拟世界同步的实时音频,涵盖音乐、环境音以及可交互对话。

  就在 Genie 4 发布的数月之前,AI 初创公司 Runway 推出了自家第二款世界模型 GWM Worlds 2,这是一款可交互运行的模型,能够对用户输入做出动态响应,同时支持音频生成。与此同时,世界模型赛道开始出现整合趋势。李飞飞创立的世界实验室被 AMD 收购,亚马逊正在洽谈收购 Decart,而 Rivian 刚刚收购了 Third Dimension,以此在内部搭建仿真能力,用于自动驾驶测试。

  一年多前,谷歌就以研究预览的形式发布了前代模型 Genie 3。除了画面拟真度大幅提升并新增音频能力之外,Genie 4 支持自由形式的

  谷歌的大模型 Gemini 和 Genie 4 的集成度也进一步提高,Gemini 相当于导演,负责规划步骤、校验画面帧,Genie 4 则负责生成

  谷歌研究总监特贾斯 · 库尔卡尼在一场简报会上表示:“未来我们会越来越多地见到这类混合式世界模型,由 Gemini 编写代码和文本,Genie 4 实时读取这些内容,在不同抽象层级上对现实进行仿真。”

  和其他世界模型一样,其主推的商业化落地场景包括游戏、交互式学习以及机器人领域。交互式学习的一个设想案例是,用户进入一幅描绘历史场景的画作当中,和画中的人物交流画里记载的事件。

  不过,“可信测试者”也就是首批能够体验谷歌前沿产品的用户,发现了一个潜在新用途:电影原型制作。

  谷歌 DeepMind 工程师迭戈 · 里瓦斯在媒体简报会上说:“实时特性的价值,在需要维持连贯创作思路的场景里体现得尤为突出。比如创意构思阶段、分镜脚本阶段,所有需要快速迸发创意的环节都适用。”

  谷歌还推出过 Veo 这款 AI 生成模型,可以根据文本、或者提示词生成高清短片,自带同步音频,这款工具在影视创

  里瓦斯补充说,用户未来有望借助 Gemini Omni 这款多模态大模型,把原型素材转化为正式创作资产,Gemini 全模态可以基于、音频和文本来生成。不过他也提到,这些能力距离落地还有一段距离。

  整场简报会上,里瓦斯反复强调 Genie 4 仍处在发展早期,完整产品最终会是什么样的体验还没有定论。团队也承认 Genie 4 仍存在短板:仿真运行时间越长,细节和物体就越容易出现偏移,团队还没有找到稳妥的办法,保证音频准确无误,同时让虚拟世界里的文字清晰可辨。

  目前 Genie 4 已经面向可信测试者开放研究预览。未来几周内,该模型会陆续向谷歌 AI Ultra 订阅用户、Genie 项目开放,Genie 项目是谷歌推出的 AI 工具,可以根据文本或提示词生成可交互虚拟世界,Gemini 应用程序接口和谷歌 AI Studio 的早期合作方也会获得使用权限。

  特别

  发现一个残忍真相:不管你多爱自己的儿女,不遗余力供他们上大学,把他们抚养成人,给他们最好的,他们也不一定会像你爱他们那样爱你

  现在中国面前有三个难题,而且每个都是倒计时:第一个,台湾统一没法再往后推了,统一不是选不选的问题,是必须交卷的题

  业主惊讶发现自己的车被套牌,在自家阳台观察拍摄一周后举报,车主为享受“免费通行”被拘15天、罚5000元

  震惊!浙江女生发布讲述逛街经历,称父亲对过路女子反复上下扫视,网友:这是大义灭亲,还是欲加之罪

  8年前,马哈蒂尔叫停了中马铁路合同转向日本,拒绝赔付中国361亿,2026年这条铁路进度达93%,最后结局反转得连狗血剧本都不敢这么写

排行

精选