Ingenieure der University of Pennsylvania (UPenn) haben Fast Feature Field, kurz F³, vorgestellt: ein universelles Werkzeug, das den Signalstrom von Ereigniskameras in Informationen verwandelt, die verschiedene Robotertypen nutzen können. Die Arbeit wurde 2026 in Science Robotics veröffentlicht, mit Richeek Das als Erstautor, Kostas Daniilidis als Mitautor und Pratik Chaudhari als leitendem Autor.
Das Problem der Ereigniskameras
Anders als eine herkömmliche Kamera, die in regelmäßigen Abständen vollständige Bilder aufnimmt — zum Beispiel 30 Bilder pro Sekunde —, reagiert eine Ereigniskamera kontinuierlich auf Veränderungen der Lichtintensität, ähnlich wie die biologische Netzhaut. Das ermöglicht schnellere Reaktionen und den Betrieb bei schwierigen Lichtverhältnissen, erzeugt aber einen dichten, verrauschten Strom: zig Millionen Signale pro Sekunde, in Form von Punkten und nicht von erkennbaren Bildern.
Bisher fehlte laut UPenn ein allgemeiner Weg, Muster aus diesem Strom zu extrahieren. Jede Anwendung erforderte in der Regel einen spezialisierten Algorithmus. Das von der Universität genannte Beispiel ist der Tischtennisroboter Ace von Sony AI: ein anspruchsvolles Sehsystem, das aber speziell für diese Aufgabe gebaut wurde.
Wie F³ lernt: durch Vorhersage der Zukunft
Statt für jede Aufgabe eine eigene Lösung zu entwerfen, trainierte das Team ein neuronales Netz darauf, zukünftige Ereignisse aus vergangenen Ereignissen vorherzusagen. Die Logik dahinter: Um vorherzusagen, was als Nächstes geschieht, muss das Netz sowohl die Struktur der Szene als auch die Bewegung darin lernen. Das Ergebnis ist eine Darstellung, die beide Informationen bewahrt und an bereits für herkömmliche Kameras entwickelte Computer-Vision-Werkzeuge angepasst werden kann.
Ein weiterer Schlüssel war die Sparsamkeit der Daten: Etwa 95 % der möglichen Positionen enthalten zu einem bestimmten Zeitpunkt keine Ereignisse. Indem nur dort gerechnet wird, wo Ereignisse tatsächlich auftreten, statt den gesamten leeren Raum zu verarbeiten, machte das Team die Methode schnell genug für den Echtzeiteinsatz.
Geschwindigkeit und Tests an echten Robotern
Laut UPenn und Tech Xplore verarbeitet F³ hochauflösende Ereigniskameradaten 120-mal pro Sekunde und 440-mal pro Sekunde in VGA-Auflösung. Abgeleitete Aufgaben laufen in hoher Auflösung mit 25 bis 75 Mal pro Sekunde, und auf F³ basierende Algorithmen waren 2- bis 5-mal schneller als frühere Ansätze, mit Spitzenleistungen bei mehreren Aufgaben der Roboterwahrnehmung.
Die Tests umfassten Objekterkennung, Distanzschätzung, Bewegungsverfolgung, optischen Fluss, semantische Segmentierung und Tiefenschätzung, mit Daten von einem Auto, einem vierbeinigen Roboter und einer Drohne, auf städtischen Straßen bei Nacht, in überfüllten Innenräumen und in weiteren Umgebungen. Für Daniilidis ist der Vergleich mit Formaten wie JPEG und MPEG treffend: F³ gebe Ereigniskameras eine „gemeinsame Sprache“ und nutze damit bereits vorhandene Software für herkömmliche Kameras.
Was es noch nicht ist
F³ ist kein Produkt und keine Kamera, die man kaufen kann, und der direkte Einbau in die Schaltkreise von Ereigniskameras ist ein zukünftiges Ziel des Teams, kein bereits erreichtes Ergebnis. Zu den laufenden Arbeiten gehören autonome Drohnen, die mit Ereigniskameras in unübersichtlichen, schlecht beleuchteten Umgebungen navigieren können. Der bestätigte Fortschritt ist wissenschaftlicher und softwaretechnischer Natur: eine allgemeine, schnelle und wiederverwendbare Darstellung — ein Schritt hin zu Robotern, selbstfahrenden Autos und Drohnen, die bei hoher Geschwindigkeit und schwachem Licht besser sehen, ohne die Software für jede neue Anwendung neu erfinden zu müssen.
Quellen:
- Tech Xplore: The missing link between event cameras and robot vision
- University of Pennsylvania (GRASP Laboratory): Fast Feature Field (F3)
- Science Robotics: Fast Feature Field (F³), DOI 10.1126/scirobotics.aec8218
Bildnachweis: Drohne mit Ereigniskamera, von Sylvia Zhang, Penn Engineering, via Tech Xplore.
Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt, auf Grundlage der Auswertung öffentlicher Beiträge und der oben genannten Internetquellen. Prüfen Sie die Originalquellen, um die Details zu bestätigen, bevor Sie eine Entscheidung treffen.
— Muse
