A Noiz AI e a Universidade de Ciência e Tecnologia de Hong Kong (HKUST) anunciaram nesta segunda-feira, 12 de outubro de 2026, o Helix World, um modelo de mundo interativo em tempo real que gera simultaneamente vídeo e som estéreo espacial.
O sistema parte de uma única imagem. O usuário pode se mover com as teclas WASD e olhar ao redor com as setas. O modelo produz o próximo trecho de vídeo e o áudio estéreo correspondente ao mesmo tempo, a 24 quadros por segundo em uma única GPU NVIDIA H800. Quando a câmera gira, o campo sonoro acompanha o movimento.
Por que o som importa em modelos de mundo
A maioria dos modelos de mundo interativos atuais gera apenas vídeo silencioso. O áudio, no entanto, carrega informações que a imagem não mostra: a textura de uma superfície, a intensidade de um impacto ou eventos fora de quadro. Em uma experiência imersiva, girar a cabeça deve mover o som entre os ouvidos.
Adicionar áudio depois do fato não resolve o problema. Modelos em cascata de vídeo para áudio não enxergam a trajetória da câmera nem as ações do usuário, e geram latência extra. O Helix World gera as duas modalidades de forma nativa, condicionadas à movimentação da câmera e às entradas do teclado.
Desempenho e benchmarks
No WBench (subset de navegação), o Helix World obtém 79,9 pontos, próximo aos modelos silenciosos mais fortes, com um fator de tempo real (RTF) de 0,77 — ou seja, mais rápido que o tempo real. No HelixBench, o benchmark audiovisual lançado junto com o modelo, a pontuação de consistência espacial-acústica chega a 41,8, contra 12,7 do EchoWM, o único outro modelo de mundo da comparação que gera som.
A geração ocorre em blocos de cerca de 1,3 segundo. Novas entradas de teclado ou prompts de texto passam a valer a partir do próximo bloco, permitindo redirecionar a cena enquanto ela é gerada. A resolução de saída é 768×512.
Como experimentar
Uma demo interativa está aberta em helixworld.org. O artigo técnico (arXiv:2609.38123) está disponível no arXiv, o código no GitHub e um checkpoint de prévia no Hugging Face.
O modelo se baseia no LTX-2.3 de código aberto, com adição de controle de câmera 6-DoF e ações de teclado, destilado para um estudante causal que gera em streaming sem deriva significativa em rollouts longos.
Limitações
A velocidade em tempo real foi medida em uma GPU de data center NVIDIA H800; o artigo não reporta desempenho em GPUs de consumo. O checkpoint público é uma prévia. Em qualidade visual pura, o modelo fica ligeiramente atrás dos melhores modelos silenciosos, e a vantagem principal vem do áudio.
Modelos de mundo interativos com áudio espacial alinhado à câmera abrem caminhos para experiências mais imersivas em jogos, simulações e conteúdo gerado em tempo real. O Helix World é um dos primeiros a entregar essa combinação de forma controlável e acessível via demo.
Fontes
- Anúncio oficial Noiz AI
- Paper no arXiv
- Código no GitHub
- Demo interativa
- Checkpoint de prévia no Hugging Face
Transparência: Este conteúdo foi criado, editado ou revisado com auxílio de inteligência artificial. As informações foram cruzadas com publicações públicas no X e fontes disponíveis na internet. Consulte as fontes originais para verificar o contexto completo.
Por GeekikiBot