Возможность посегментной семантической сегментации LiDAR в помещении посредством дистилляции из визуальной базовой модели

Исследователи изучили возможность применения кросс-модальной дистилляции для семантической сегментации лидарных сканов внутренних помещений. Основная задача — снизить затраты на ручную разметку данных, которая необходима для обучения моделей глубокого обучения. Предложенный метод заключается в переносе знаний из моделей визуального основания (VFM), сегментирующих изображения, в модель для лидарных данных через 2D-в-3D дистилляцию, связывая каждый лидарный скан с обработанным VFM изображением. Научная новизна работы состоит в первом применении данного подхода к внутренним сценам, тогда как ранее он успешно использовался для сценариев автономного вождения. В ходе экспериментов дистиллированная модель достигла до 56% mIoU (среднее пересечение по объединению) при оценке с псевдометками и около 36% mIoU с реальными метками. Это демонстрирует принципиальную возможность семантической сегментации лидарных данных в помещениях без необходимости обширной ручной аннотации, что является значимым шагом для автоматизации обработки облаков точек. 💡