Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы

Девелоперская компания Sminex поделилась опытом создания корпоративной LLM-платформы, подчеркнув стратегию построения единой инфраструктуры вместо точечного внедрения отдельных AI-ассистентов. Такой подход, по их словам, критичен для управляемости внедрения и масштабирования AI-решений в компании, позволяя избежать "зоопарка" систем и оптимизировать затраты на поддержку. Платформа, запущенная в октябре 2025 года, использует Open WebUI для интерфейса, LiteLLM как API-шлюз для маршрутизации запросов к моделям, и Langflow для оркестрации сценариев. Инфраструктура развернута на Deckhouse Kubernetes Platform с vLLM для инференса. Органический рост потребления токенов подтверждает востребованность централизованного подхода, который обеспечивает контроль расходов, безопасность и ускоряет разработку новых AI-инструментов. 💡