MineCEraft: оценка языковых моделей как строительных инженеров в мире Minecraft

🧪 MineCEraft: авторы предлагают открытый бенчмарк для проверки, насколько языковые модели справляются с задачами строительной инженерии в контролируемой среде Minecraft. В набор вошли 723 инструкции на естественном языке, подготовленные доменными экспертами, и 17 категорий задач с программно проверяемой оценкой результата. Суть исследования — не в имитации реальной стройплощадки, а в воспроизводимой проверке: модель получает строительное задание, выполняет его в виртуальной среде, а результат можно автоматически сравнить с ожидаемым. Научная новизна — в специализированном тесте для строительных задач, где фиксируются не только успешные ответы, но и типовые ошибки LLM. Ограничение очевидно: Minecraft остается упрощенной средой без нормативных, физических и организационных факторов реального строительства. Поэтому MineCEraft скорее полезен как ранний стенд для анализа надежности ИИ-агентов, чем как доказательство их готовности к работе на проектах.