DarkVGGT: Seeing Through Darkness Using Thermal Geometry without Daylight Tax

Современные методы 3D-реконструкции, основанные на видимом свете, уязвимы в условиях низкой освещенности, где RGB-данные сильно деградируют. Для решения этой проблемы предложен фреймворк DarkVGGT, использующий комбинацию видимого света и тепловизионных данных (RGB-T) для надежной оценки геометрии сцены в условиях плохой видимости. Научная новизна подхода заключается в применении физически обоснованного теплового моделирования. DarkVGGT включает два модуля: первый извлекает геометрию из тепловых данных, минимизируя влияние отражений; второй интегрирует эти структурные указания в RGB-поток, игнорируя тепловые особенности. Это позволяет достигать точной оценки геометрии в условиях деградировавших RGB-сигналов, сохраняя производительность в хорошо освещенных средах. Эксперименты демонстрируют улучшение в оценке глубины и позы камеры по сравнению с существующими базовыми методами прямой 3D-реконструкции. 💡