Reason, Then Re-reason: Cross-view Revisiting Improves Spatial Reasoning

Исследователи представили фреймворк Reason, then Re-reason (ReRe), направленный на повышение точности пространственного анализа на основе видео с обзором от первого лица. Существующие методы сталкиваются с ограничениями из-за неполноты данных с одной траектории камеры, что вынуждает модели полагаться на семантические допущения вместо проверяемых геометрических доказательств. ReRe предлагает двухфазный подход: мультимодальная большая языковая модель (MLLM) сначала формирует пространственную гипотезу из исходного видео, а затем верифицирует или корректирует её, используя синтезированное видео с новой, более полной точки обзора. 💡 Научная новизна заключается в конвейере Geometry-to-Video, который генерирует стратегически дополняющие ракурсы из предсказанной 3D-геометрии, интегрируя их без изменения архитектуры MLLM. Тестирование на бенчмарках VSI-Bench и STI-Bench показало, что ReRe значительно улучшает производительность открытых MLLM, позволяя им достигать уровня передовых проприетарных систем. Это открывает перспективы для более точного автоматизированного мониторинга прогресса работ, особенно в условиях ограниченной видимости на объектах.