How do Self-Supervised Remote Sensing Vision Models Transfer to Downstream Tasks?

Исследование Джулии Ромеро, Цинь Лв и Мортезы Каримзаде, опубликованное на arXiv, анализирует поведение самообучающихся моделей компьютерного зрения для дистанционного зондирования (GeoFMs) при их переносе на различные прикладные задачи. Авторы изучили шесть типов GeoFMs, оценивая их эффективность в задачах классификации, регрессии и сегментации в различных условиях. Ключевые выводы показывают, что ранжирование моделей сильно зависит от задачи и настроек адаптации. Анализ выявил, что важная для задачи информация чаще доступна в промежуточных блоках трансформеров, а не в финальных эмбеддингах. Параметры адаптации, такие как дизайн декодера и тонкая настройка (fine-tuning), могут быть столь же значимыми, как и выбор самой GeoFM. Установлено, что тонкая настройка не изменяет GeoFMs равномерно по глубине, а наиболее сильные изменения локализованы в первом линейном слое MLP в блоках ViT. Эти результаты мотивируют разработку более осознанных стратегий оценки и адаптации моделей для геопространственных данных. 🛰️