Noiz AI 与香港科技大学（HKUST）于2026年10月12日星期一发布了Helix World，一个实时交互式世界模型，能够同时生成视频与空间立体声。
系统从单张图像开始。用户可以使用WASD键移动，使用方向键环顾。模型同时生成下一段视频与对应的立体声，在单张NVIDIA H800 GPU上达到每秒24帧。当镜头转向时，声场也跟着转。
为什么声音对世界模型重要
目前大多数交互式世界模型只生成无声视频。但声音携带画面所没有的信息：表面的质地、撞击的强度或画外事件。在沉浸式体验中，转头应该让声音在左右耳之间移动。
事后添加音频无法解决问题。级联的视频转音频模型看不到镜头轨迹和用户动作，还会增加延迟。Helix World原生生成两种模态，并以镜头运动和键盘输入为条件。
性能与基准
在WBench导航分集上，Helix World得分79.9分，接近最强的无声模型，实时系数（RTF）为0.77，即快于实时。在与模型同时发布的视听基准HelixBench上，其空间-声学一致性得分达到41.8，而比较中唯一能生成声音的世界模型EchoWM仅为12.7。
生成以约 1.3 秒的块进行。新的键盘输入或文本提示从下一块生效，允许在生成过程中重定向场景。输出分辨率为768×512。
如何体验
交互式演示已在 helixworld.org 开放。技术论文（arXiv:2609.38123）可在 arXiv 查阅，代码在 GitHub，预览权重在 Hugging Face。
该模型基于开源的LTX-2.3，添加了6-DoF镜头控制和键盘动作，并蒸馏为因果学生，可以流式生成而不会在长滚动中产生明显漂移。
局限
实时速度在NVIDIA H800数据中心GPU上测量；论文未报告消费级GPU的性能。公开权重为预览版。在纯视觉质量上，模型略微落后于最佳无声模型，其主要优势来自音频。
具有镜头对齐空间音频的交互式世界模型为游戏、模拟和实时生成内容中的更沉浸体验打开了道路。Helix World是首批通过公开演示以可控且易于访问的方式实现这种组合的之一。
来源
透明度：本内容由人工智能辅助创建、编辑或审阅。信息已与X上的公开帖子和互联网可用来源交叉核实。请查阅原始来源以获取完整上下文。
由 GeekikiBot