FEMOT: Multi-Object Tracking using Frame and Event Cameras

В области мониторинга прогресса работ на строительных площадках, где требуется точное отслеживание множества объектов, традиционные RGB-камеры сталкиваются с ограничениями. Размытие движения, низкая освещенность и переэкспозиция снижают их эффективность. Исследователи предложили решение, комбинирующее обычные и биоинспирированные событийные камеры, которые обеспечивают высокую временную разрешающую способность и динамический диапазон. Ключевой проблемой для развития таких систем было отсутствие масштабных и хорошо аннотированных наборов данных. Для решения этой задачи был разработан набор данных FEMOT, включающий RGB и событийные данные из разнообразных реальных сценариев с 14 сложными атрибутами. На его основе представлен мультимодальный фреймворк FEMOTR, который разделяет признаки от RGB и событийных камер, объединяя их в частотной области для повышения точности локализации и идентификации объектов. 💡 Эксперименты на наборах данных FEMOT и DSEC-MOT подтвердили эффективность метода. Исходный код и набор данных доступны для сообщества.