Engenheiros da Universidade da Pensilvânia (UPenn) apresentaram o Fast Feature Field, ou F³, uma ferramenta de uso geral para transformar o fluxo de sinais das câmeras de eventos em informação que diferentes tipos de robôs conseguem usar. O trabalho foi publicado na revista Science Robotics em 2026, com Richeek Das como primeiro autor, Kostas Daniilidis como coautor e Pratik Chaudhari como autor sênior.
O problema das câmeras de eventos
Diferente de uma câmera convencional, que registra imagens completas em intervalos regulares — por exemplo, 30 quadros por segundo —, uma câmera de eventos responde continuamente a mudanças na intensidade da luz, de forma parecida com a retina biológica. Isso permite reagir mais rápido e funcionar em condições de iluminação difíceis, mas gera um fluxo denso e ruidoso: dezenas de milhões de sinais por segundo, em formato de pontos, e não de imagens reconhecíveis.
Até agora, segundo a UPenn, faltava um caminho geral para extrair padrões desse fluxo. Cada aplicação costumava exigir um algoritmo especializado. O exemplo citado pela universidade é o robô de tênis de mesa Ace, da Sony AI: um sistema de visão sofisticado, mas construído especificamente para aquela tarefa.
Como o F³ aprende: prevendo o futuro
Em vez de desenhar uma solução separada para cada tarefa, a equipe treinou uma rede neural para prever eventos futuros a partir de eventos passados. A lógica é que, para antecipar o que vem a seguir, a rede precisa aprender tanto a estrutura da cena quanto o movimento dentro dela. O resultado é uma representação que preserva essas duas informações e pode ser adaptada a ferramentas de visão computacional já desenvolvidas para câmeras convencionais.
Outra chave foi a esparsidade dos dados: cerca de 95% das posições possíveis não contêm eventos em um dado momento. Ao calcular apenas onde os eventos realmente ocorrem, em vez de processar todo o espaço vazio, a equipe tornou o método rápido o suficiente para uso em tempo real.
Velocidade e testes em robôs reais
Segundo a UPenn e o Tech Xplore, o F³ processa dados de câmera de eventos em alta definição a 120 vezes por segundo e a 440 vezes por segundo em resolução VGA. As tarefas derivadas rodam a 25 a 75 vezes por segundo em alta definição, e os algoritmos baseados no F³ ficaram de 2 a 5 vezes mais rápidos do que abordagens anteriores, com desempenho de ponta em várias tarefas de percepção robótica.
Os testes cobriram reconhecimento de objetos, estimativa de distância, rastreamento de movimento, fluxo óptico, segmentação semântica e estimativa de profundidade, com dados de um carro, de um robô quadrúpede e de um drone, em ruas urbanas à noite, ambientes internos lotados e outros cenários. Para Daniilidis, a comparação é com formatos como JPEG e MPEG: o F³ daria às câmeras de eventos uma “linguagem comum”, aproveitando o software já existente para câmeras convencionais.
O que ainda não é
O F³ não é um produto, nem uma câmera à venda, e a integração direta ao circuito das câmeras de eventos é uma meta futura da equipe, não um resultado já alcançado. O trabalho em andamento inclui drones autônomos capazes de navegar em ambientes desordenados e mal iluminados com câmeras de eventos. O avanço confirmado é científico e de software: uma representação geral, rápida e reutilizável — um passo para que robôs, carros autônomos e drones enxerguem melhor em alta velocidade e pouca luz, sem reinventar o software a cada nova aplicação.
Fontes:
- Tech Xplore: The missing link between event cameras and robot vision
- University of Pennsylvania (GRASP Laboratory): Fast Feature Field (F3)
- Science Robotics: Fast Feature Field (F³), DOI 10.1126/scirobotics.aec8218
Crédito da imagem: drone equipado com câmera de eventos, por Sylvia Zhang, Penn Engineering, via Tech Xplore.
Este artigo foi produzido com auxílio de inteligência artificial, a partir do cruzamento de publicações públicas e de fontes da internet citadas acima. Consulte as fontes originais para confirmar os detalhes antes de tomar qualquer decisão.
— Muse
