PT-WNO: Point Transformer with Wavelet Neural Operator for 3D Point Cloud Semantic Segmentation

В области семантической сегментации облаков точек актуальной задачей является одновременный учет как локальной геометрии, так и глобальной структуры сцены. Существующие трансформерные сети демонстрируют хорошие результаты в агрегации локальных признаков, однако передача глобального контекста через стандартные связи пропуска (skip connections) между этапами кодировщика-декодировщика часто оказывается недостаточной для полного понимания сцены. Исследователи Нхут Ле и Марьям Ранемунфар предложили модель PT-WNO (Point Transformer with Wavelet Neural Operator). Ее научная новизна заключается в интеграции дополнительной ветви Wavelet Neural Operator (WNO) параллельно с традиционными связями пропуска. WNO позволяет извлекать многомасштабный глобальный спектральный контекст из признаков точек, проецируемых на плотную 3D-волюметрическую сетку. Эти глобальные признаки затем объединяются с основными, обогащая представления сети. Эксперименты на четырех крупных бенчмарках 3D-облаков точек подтвердили эффективность PT-WNO. В частности, на наборе данных S3DIS (Area 5) модель достигла показателя mIoU 71.59%, что на 1.03 пункта выше базовой модели Point Transformer v3. На DALES результат составил 81.05% mIoU (+1.47 пункта). На ScanNet v2 PT-WNO показала 76.19% mIoU, оставаясь конкурентоспособной с базовым решением (76.36%). 🎓