NegROI: новая архитектура для интерактивной 3D-сегментации облаков точек

NegROI — новая интерактивная архитектура для 3D-сегментации облаков точек, ориентированная на минимизацию числа пользовательских кликов и повышение точности выделения объектов. Авторы предлагают трансформерную модель, которая локально уточняет маску объекта вокруг клика пользователя на более детализированной сетке, а затем интегрирует результат в исходную маску.

Ключевая новизна — использование scene-conditioned negative prompts: модель обучается различать сложные фоновые структуры с помощью специальных негативных подсказок, получаемых через кросс-внимание к сцене. Для повышения устойчивости применяется регуляризация разнообразия и специальная стратегия отбора сложных негативных примеров у границ объектов.

Эксперименты на ScanNet, S3DIS и KITTI показывают, что подход снижает количество ложных срабатываний и повышает переносимость между разреженными и плотными датасетами. Среди ограничений — необходимость ручных кликов и вычислительные затраты на локальное уточнение.