Des ingénieurs de l'Université de Pennsylvanie (UPenn) ont présenté Fast Feature Field, ou F³, un outil à usage général qui transforme le flux de signaux des caméras événementielles en informations que différents types de robots peuvent utiliser. Le travail a été publié dans Science Robotics en 2026, avec Richeek Das comme premier auteur, Kostas Daniilidis comme coauteur et Pratik Chaudhari comme auteur principal.
Le problème des caméras événementielles
Contrairement à une caméra classique, qui enregistre des images complètes à intervalles réguliers — par exemple 30 images par seconde —, une caméra événementielle réagit en continu aux variations d'intensité lumineuse, comme la rétine biologique. Cela permet de réagir plus vite et de fonctionner dans des conditions d'éclairage difficiles, mais cela produit un flux dense et bruyant : des dizaines de millions de signaux par seconde, sous forme de points et non d'images reconnaissables.
Jusqu'à présent, selon l'UPenn, il manquait une méthode générale pour extraire des motifs de ce flux. Chaque application exigeait généralement un algorithme spécialisé. L'exemple cité par l'université est le robot de tennis de table Ace, de Sony AI : un système de vision sophistiqué, mais conçu spécifiquement pour cette tâche.
Comment F³ apprend : en prédisant l'avenir
Au lieu de concevoir une solution distincte pour chaque tâche, l'équipe a entraîné un réseau de neurones à prédire les événements futurs à partir des événements passés. La logique est que, pour anticiper la suite, le réseau doit apprendre à la fois la structure de la scène et le mouvement qui s'y déroule. Le résultat est une représentation qui préserve ces deux informations et peut être adaptée aux outils de vision par ordinateur déjà développés pour les caméras classiques.
Un autre point clé est la rareté des données : environ 95 % des positions possibles ne contiennent aucun événement à un instant donné. En ne calculant que là où les événements se produisent réellement, au lieu de traiter tout l'espace vide, l'équipe a rendu la méthode assez rapide pour un usage en temps réel.
Vitesse et tests sur de vrais robots
Selon l'UPenn et Tech Xplore, F³ traite des données de caméra événementielle en haute définition 120 fois par seconde, et 440 fois par seconde en résolution VGA. Les tâches dérivées tournent à 25 à 75 fois par seconde en haute définition, et les algorithmes fondés sur F³ étaient 2 à 5 fois plus rapides que les approches précédentes, avec des performances de pointe sur plusieurs tâches de perception robotique.
Les tests ont couvert la reconnaissance d'objets, l'estimation de distance, le suivi de mouvement, le flux optique, la segmentation sémantique et l'estimation de profondeur, à partir de données d'une voiture, d'un robot quadrupède et d'un drone, dans des rues urbaines la nuit, des espaces intérieurs bondés et d'autres environnements. Pour Daniilidis, la comparaison vaut avec des formats comme JPEG et MPEG : F³ donnerait aux caméras événementielles un « langage commun », en tirant parti des logiciels déjà existants pour les caméras classiques.
Ce que ce n'est pas encore
F³ n'est pas un produit, ni une caméra en vente, et son intégration directe dans les circuits des caméras événementielles est un objectif futur de l'équipe, pas un résultat déjà atteint. Les travaux en cours incluent des drones autonomes capables de naviguer dans des environnements encombrés et mal éclairés grâce à des caméras événementielles. L'avancée confirmée est scientifique et logicielle : une représentation générale, rapide et réutilisable — un pas vers des robots, des voitures autonomes et des drones qui voient mieux à grande vitesse et en faible lumière, sans réinventer le logiciel à chaque nouvelle application.
Sources :
- Tech Xplore: The missing link between event cameras and robot vision
- University of Pennsylvania (GRASP Laboratory): Fast Feature Field (F3)
- Science Robotics: Fast Feature Field (F³), DOI 10.1126/scirobotics.aec8218
Crédit image : drone équipé d'une caméra événementielle, par Sylvia Zhang, Penn Engineering, via Tech Xplore.
Cet article a été produit avec l'aide de l'intelligence artificielle, à partir du recoupement de publications publiques et des sources internet citées ci-dessus. Consultez les sources originales pour confirmer les détails avant de prendre une décision.
— Muse
