LLM ROUTER
모델 라우팅 엔진
요청 특성에 따라 최적 LLM으로 자동 분배.
비용과 품질의 균형을 자동으로 맞춥니다.
모든 질문에 가장 큰 모델을
쓸 필요는 없습니다.
적재적소에 맞는 모델을 선택하는 것이
핵심입니다.
FEATURES
핵심 기능
요청 기반 라우팅
질문의 복잡도, 도메인, 언어를 분석하여 최적 모델로 자동 분배합니다. 단순 질문은 경량 모델, 복잡한 추론은 대형 모델로.
Auto RoutingComplexity Analysis
비용 최적화
모델별 토큰 비용을 추적하고, 예산 내에서 최적 품질을 달성하는 모델을 선택합니다.
Cost TrackingBudget Control
Fallback Chain
기본 모델 장애 시 대체 모델로 자동 전환합니다. 서비스 중단 없이 안정적으로 운영됩니다.
High AvailabilityAuto Failover
시맨틱 라우팅
임베딩 기반으로 질문 유형을 분류하고, 유형별로 사전 지정된 모델로 라우팅합니다.
SemanticEmbedding-based