Когда ИИ не знает – но делает вид, что знает: ударим энтропией по LLM

ИТ-центр МАИ представил инженерный подход к снижению числа "галлюцинаций" в больших языковых моделях. Авторы отмечают, что даже масштабирование моделей не решает проблему ложных, но уверенных ответов: на бенчмарке TruthfulQA лучшие LLM показывают лишь 58% правдивых ответов против 94% у человека. В качестве решения предложена двухуровневая система: сначала используется подход RAG (генерация с привлечением внешних данных), затем применяется оценка семантической энтропии — метрики, отражающей разнообразие смыслов в сгенерированных ответах. Если энтропия превышает порог, система отказывается отвечать. Такой фильтр позволил повысить точность на сложных датасетах до 12%. 💡 В чем бизнес-ценность? Для задач с высокой ценой ошибки (техническая документация, критическая инфраструктура) комбинация RAG и семантической энтропии позволяет повысить достоверность ответов LLM и минимизировать риск некорректных решений за счет автоматического отказа от ответа при высокой неопределенности.