DrawingVQA: Реальный эталон для многоуровневого визуально-текстового рассуждения по строительным чертежам

📐 DrawingVQA: исследователи предложили эталонный набор для проверки мультимодальных языковых моделей на строительных чертежах. В основе — 33 комплекта чертежей со статусом «выдано в производство работ» и 92 экспертно подготовленные пары вопрос–ответ. Суть задачи — оценить, насколько модели понимают не только геометрию, но и условные обозначения, таблицы, аннотации и отраслевой текст. Вопросы разделены на три уровня: базовое визуальное восприятие, контекстная интерпретация и рассуждение уровня профильного специалиста. Научная новизна — связка инженерных рабочих процессов с компетенциями ИИ: авторы анализируют результаты по семи строительным и четырём модельным измерениям. Ограничение тоже важное: выборка пока небольшая, а разрыв с экспертами особенно заметен на сложных вопросах.