Новая архитектура для восстановления 3D-объектов по облакам точек и изображениям

Исследование MAGE посвящено задаче восстановления полной 3D-формы объекта по частичному облаку точек с опорой на изображение с одной точки обзора. Авторы отмечают, что существующие методы сталкиваются с проблемами слабого согласования между изображением и облаком точек, а также недостаточного учета геометрии. В работе предложена единая архитектура, сочетающая эффективное согласование модальностей (через общий self-attention Transformer и перекрестное обучение) и адаптивное геометрическое улучшение. Для этого реализованы специальные модули: геометрически-осознанное согласование признаков, адаптивное внимание к локальным и глобальным деталям, а также механизм уточнения опорных точек. Научная новизна — интеграция этих подходов для повышения точности восстановления 3D-объектов. Ограничение: требуется наличие изображения объекта для запуска метода.