Бенчмарк 7 эмбеддингов и 4 реранкеров на корпусе судебной практики

В рамках исследования на платформе Хабр был представлен бенчмарк моделей искусственного интеллекта для поиска и анализа российской судебной практики. Юрист-практик, специализирующийся на договорной и претензионной работе, а также судебном представительстве, провел сравнительный анализ семи эмбеддингов и четырех реранкеров на корпусе из 858 актов Суда по интеллектуальным правам. Целью было определить наиболее эффективные модели для создания бота, способного находить релевантную судебную практику и прогнозировать размер компенсаций. Ключевым результатом стало выявление локальной русскоязычной модели deepvk/USER2-base, которая показала статистически неотличимые результаты от ведущих коммерческих аналогов, таких как OpenAI text-embedding-3-large и Voyage voyage-3. Это открывает возможности для создания высокоэффективных систем без привязки к дорогостоящим API и с минимизацией санкционных рисков. Также было установлено, что эффективность реранкеров (лучшие из которых — jina-reranker-v3 и bge-reranker-v2-m3) сильно зависит от качества базового эмбеддинга, принося значительный прирост на слабых моделях и незначительный на сильных. 💡 В чем бизнес-ценность? Для девелоперских компаний, активно ведущих договорную и претензионную работу, а также участвующих в судебных спорах, результаты исследования имеют прямое практическое значение. Использование локальных, высокопроизводительных моделей ИИ, таких как deepvk/USER2-base, позволяет значительно повысить эффективность поиска и анализа судебной практики. Это способствует более точному прогнозированию исходов споров, оптимизации претензионной работы и формированию обоснованной правовой позиции, снижая при этом операционные издержки и зависимость от внешних сервисов.