BlenderRAG: Высокоточная генерация 3D-объектов с помощью синтеза кода, дополненного поиском

Исследователи представили систему BlenderRAG, направленную на автоматизацию создания высокоточных 3D-объектов в Blender по текстовому описанию. Актуальность работы обусловлена сложностями, с которыми сталкиваются современные большие языковые модели (LLM) при генерации исполняемого кода для Blender, часто приводя к синтаксическим ошибкам и геометрически некорректным моделям. Предложенный подход использует архитектуру генерации с дополненной выборкой (Retrieval-Augmented Generation, RAG). Система BlenderRAG оперирует тщательно подобранным мультимодальным набором данных, включающим 500 экспертно-валидированных примеров (текст, код, изображение) по 50 категориям объектов. В процессе генерации система извлекает семантически схожие примеры, что позволяет значительно повысить качество выходного кода. Результаты исследования демонстрируют существенное улучшение: успешность компиляции кода возросла с 40,8% до 70,0%, а семантическое соответствие (измеренное по схожести CLIP) увеличилось с 0,41 до 0,77. Эти показатели достигнуты без необходимости дообучения или использования специализированного оборудования, что делает BlenderRAG готовым к немедленному внедрению. 🛠️