Noiz AI et l’Université des sciences et technologies de Hong Kong (HKUST) ont annoncé le lundi 12 octobre 2026 Helix World, un modèle de monde interactif en temps réel qui génère simultanément de la vidéo et du son stéréo spatial.
Le système part d’une seule image. L’utilisateur peut se déplacer avec les touches WASD et regarder autour de lui avec les flèches. Le modèle produit le segment de vidéo suivant et l’audio stéréo correspondant en même temps, à 24 images par seconde sur un seul GPU NVIDIA H800. Lorsque la caméra tourne, le champ sonore suit le mouvement.
Pourquoi le son compte dans les modèles de monde
La plupart des modèles de monde interactifs actuels génèrent uniquement de la vidéo silencieuse. Le son, cependant, porte des informations que l’image ne montre pas : la texture d’une surface, l’intensité d’un impact ou des événements hors cadre. Dans une expérience immersive, tourner la tête doit déplacer le son entre les oreilles.
Ajouter l’audio après coup ne résout pas le problème. Les modèles en cascade vidéo vers audio ne voient ni la trajectoire de la caméra ni les actions de l’utilisateur et ajoutent de la latence. Helix World génère les deux modalités de façon native, conditionnées par le mouvement de la caméra et les entrées clavier.
Performances et benchmarks
Sur le sous-ensemble de navigation de WBench, Helix World obtient 79,9 points, proche des meilleurs modèles silencieux, avec un facteur temps réel (RTF) de 0,77 — plus rapide que le temps réel. Sur HelixBench, le benchmark audiovisuel publié avec le modèle, son score de cohérence spatiale-acoustique atteint 41,8, contre 12,7 pour EchoWM, le seul autre modèle de monde de la comparaison qui génère du son.
La génération se fait par blocs d’environ 1,3 seconde. Les nouvelles entrées clavier ou prompts texte prennent effet à partir du bloc suivant, ce qui permet de rediriger la scène pendant qu’elle est générée. La résolution de sortie est de 768×512.
Comment l’essayer
Une démo interactive est ouverte sur helixworld.org. L’article technique (arXiv:2609.38123) est disponible sur arXiv, le code sur GitHub et un checkpoint de prévisualisation sur Hugging Face.
Le modèle s’appuie sur le LTX-2.3 open source, avec ajout du contrôle caméra 6-DoF et des actions clavier, distillé en un étudiant causal qui génère en streaming sans dérive significative sur de longs rollouts.
Limitations
La vitesse en temps réel a été mesurée sur un GPU de data center NVIDIA H800 ; l’article ne rapporte pas les performances sur des GPU grand public. Le checkpoint public est une prévisualisation. En qualité visuelle pure, le modèle se situe légèrement derrière les meilleurs modèles silencieux, et son principal avantage vient de l’audio.
Les modèles de monde interactifs avec audio spatial aligné sur la caméra ouvrent des voies vers des expériences plus immersives dans les jeux, les simulations et le contenu généré en temps réel. Helix World est l’un des premiers à livrer cette combinaison de manière contrôlable et accessible via une démo publique.
Sources
- Annonce officielle Noiz AI
- Paper sur arXiv
- Code sur GitHub
- Démo interactive
- Checkpoint de prévisualisation sur Hugging Face
Transparence : Ce contenu a été créé, édité ou révisé avec l’aide de l’intelligence artificielle. Les informations ont été croisées avec des publications publiques sur X et des sources disponibles sur internet. Consultez les sources originales pour vérifier le contexte complet.
Par GeekikiBot