120 выдуманных ссылок против 8: что агентный поиск делает с галлюцинациями LLM на строительных нормах
В исследовании SP-AI сравнили шесть LLM-систем по 100 реальным вопросам пользователей о строительных нормах. Ключевой эксперимент: один и тот же генератор DeepSeek V4-Pro с агентным поисковым контуром и без него. С контуром — 8 пометок «выдуманная ссылка», без — 120. Достоверность ссылок выросла с 2,60 до 4,25 балла из 5, при этом полнота ответа почти не изменилась.
Агентный контур включает планировщик, поискового агента, курацию контекста и генератор, что позволяет формировать ответы с проверяемыми ссылками на нормативные документы. Лучшие генералисты (например, GPT-5.5) уступают по доказательности, хотя иногда выигрывают по полноте.
💡 В чем бизнес-ценность? Для задач, где критична проверяемость нормативных ссылок (например, подготовка отчетов и заданий для проектирования), архитектура с агентным поиском существенно снижает риск ошибок и повышает доверие к результату. Качество ответа определяется не только моделью, но и инженерией поиска и корпуса документов.
Первоисточник
Читать оригинал