Genie Sim PanoWorld: Бесконечный конвейер генерации внутреннего 3D-мира через панорамное моделирование и симуляцию сцен

Исследователи представили проект Genie Sim PanoWorld, направленный на решение задачи высокоточной реконструкции свободно навигируемых 3D-сцен из одной 360-градусной панорамы. Существующие подходы часто сталкиваются с ограничениями в метрическом контроле траектории или при работе с большими окклюзиями при значительном движении камеры. Предложенный метод представляет собой двухэтапный конвейер, который объединяет генерацию и реконструкцию через явно управляемое панорамное видео. На первом этапе траектория перемещения, спланированная с помощью NavMesh, интегрируется в латентную видеодиффузионную модель. Второй этап включает панорамный реконструктор, который преобразует сгенерированное видео в высококачественную 3D-сцену на основе гауссовых сплэтов. Научная новизна заключается в создании системы, способной генерировать реалистичные 3D-миры без оптимизации для каждой сцены или многоракурсной съемки. Результатом является сцена, поддерживающая свободное перемещение в реальном времени и пригодная для использования в качестве симуляционного актива для приложений с воплощенным ИИ. Система демонстрирует превосходство над базовыми моделями и способность к обобщению на новые внутренние сцены. 💡