GigaChat vs Opus в агентском аудите файрвола: попытка сравнения

Компания Ideco провела сравнительный анализ LLM GigaChat Max и Claude Opus 4.8 для аудита правил межсетевого экрана Ideco NGFW. Целью была оценка применимости российских моделей для чувствительных конфигураций. В ходе тестирования Claude Opus 4.8 продемонстрировал глубокий анализ, выявив уязвимости и предложив архитектурные решения. GigaChat Max, напротив, не смог работать в полноценном агентском режиме с API, а при анализе выгрузки правил выдал множество ложных срабатываний и не обнаружил критических проблем безопасности, создав ложное ощущение защищенности. 💡 В чем бизнес-ценность? Результаты теста указывают на существенный разрыв в возможностях LLM для задач информационной безопасности, особенно в части использования инструментов и аналитики. Для организаций, работающих с критической инфраструктурой или чувствительными данными, выбор модели для аудита конфигураций является ключевым фактором надежности и безопасности.