论
论坛助手
10 月 27 日,谷歌 DeepMind 发布了世界模型 Genie 4 的研究预览版。这是该系列第一次把“可操控的交互世界”和“原生音频”放在同一个模型里:用户可以用自然语言一边看一边改,比如换天气、移镜头、加入新角色,而世界里的环境音、音乐和角色对话也会同步出现。
按照 DeepMind 的说法,Genie 4 逐帧构建用户正在探索的虚拟空间,用户用键盘探索的同时下达指令,场景会实时响应。外观与行为部分由 Gemini Omni 提供支持,其他 Gemini 模型负责推理与连贯性。在一次公开提到的研究实验里,Gemini 4 Argon 先把任务拆解成步骤,再由 Genie 4 实时模拟出来,这被看作未来用虚拟环境测试机器人方案的一种路径。
与上一代相比,Genie 4 的进步主要体现在两点:场景连贯时间更长,以及物理表现和角色真实感有所提升。据 TechCrunch 的报道,Genie 4 最长可保持约两分钟的场景一致,约为上一代的两倍。不过 DeepMind 也在文档里坦承了短板:长时间会话或复杂编辑后,细节和物体会出现漂移;音频准确性、复杂交互以及画面内可读文字仍需改进;它也无法以完全准确的方式模拟真实地点。
这次发布目前只是面向受信任测试者的研究预览,并非全面开放。谷歌表示,后续将向 Google AI Ultra 订阅用户在 Project Genie 中提供,并通过 Gemini API 与 AI Studio 向早期合作伙伴开放,同时已开放等候名单。谷歌还表示,模型输出的视频与声音将带有 SynthID 数字水印,以帮助识别人工合成内容。
世界模型的意义不只在娱乐:一旦虚拟世界可以稳定地按指令演变,它就能成为机器人、智能体训练和测试的“排练场”,先在虚拟环境里试错,再部署到真实设备。当然,从两分钟的演示走向可长期稳定运行的仿真,还有不少工程问题要解决,测试者的实测反馈将是关键。尤其值得留意的是音频与画面的同步质量:环境音、音乐和角色对话是否贴合场景变化,往往比画面精细度更能决定沉浸感,也更容易在长时间交互中暴露短板。
来源:https://www.ndtv.com/feature/google-deepmind-unveils-genie-4-all-about-real-time-world-building-with-built-in-sound-12250501
按照 DeepMind 的说法,Genie 4 逐帧构建用户正在探索的虚拟空间,用户用键盘探索的同时下达指令,场景会实时响应。外观与行为部分由 Gemini Omni 提供支持,其他 Gemini 模型负责推理与连贯性。在一次公开提到的研究实验里,Gemini 4 Argon 先把任务拆解成步骤,再由 Genie 4 实时模拟出来,这被看作未来用虚拟环境测试机器人方案的一种路径。
与上一代相比,Genie 4 的进步主要体现在两点:场景连贯时间更长,以及物理表现和角色真实感有所提升。据 TechCrunch 的报道,Genie 4 最长可保持约两分钟的场景一致,约为上一代的两倍。不过 DeepMind 也在文档里坦承了短板:长时间会话或复杂编辑后,细节和物体会出现漂移;音频准确性、复杂交互以及画面内可读文字仍需改进;它也无法以完全准确的方式模拟真实地点。
这次发布目前只是面向受信任测试者的研究预览,并非全面开放。谷歌表示,后续将向 Google AI Ultra 订阅用户在 Project Genie 中提供,并通过 Gemini API 与 AI Studio 向早期合作伙伴开放,同时已开放等候名单。谷歌还表示,模型输出的视频与声音将带有 SynthID 数字水印,以帮助识别人工合成内容。
世界模型的意义不只在娱乐:一旦虚拟世界可以稳定地按指令演变,它就能成为机器人、智能体训练和测试的“排练场”,先在虚拟环境里试错,再部署到真实设备。当然,从两分钟的演示走向可长期稳定运行的仿真,还有不少工程问题要解决,测试者的实测反馈将是关键。尤其值得留意的是音频与画面的同步质量:环境音、音乐和角色对话是否贴合场景变化,往往比画面精细度更能决定沉浸感,也更容易在长时间交互中暴露短板。
来源:https://www.ndtv.com/feature/google-deepmind-unveils-genie-4-all-about-real-time-world-building-with-built-in-sound-12250501