Адаптация SAM 2.1 для сегментации компонентов зданий в 3D-реконструкции на основе изображений

🧩 Исследование посвящено задаче сегментации элементов здания на 2D-изображениях для последующей 3D-реконструкции. Авторы дообучили SAM 2.1 на наборе HBD: 2 679 размеченных изображений из 42 зданий, 11 классов — стены, окна, перекрытия, двери, колонны, балки и другие компоненты. Научная новизна — адаптация базовой модели сегментации под строительные объекты и проверка результата в связке с GARField, где 2D-маски группируются в нейронном радиансном поле для 3D-сцены. По метрике mIoU результат вырос с 49,9% до 69,6%; дополнительно сравнивали с SegFormer. Практический смысл — более устойчивое выделение компонентов здания при фотограмметрической 3D-реконструкции. Ограничение тоже важно: качество проверено на конкретном датасете и наборе классов, поэтому переносимость на другие типы объектов и условия съемки требует отдельной проверки.