AI 모델 크기의 역설,
작아지는 모델이 이기고 있다

1. 학습 기법의 진화

Knowledge Distillation, Curriculum Learning,
합성 데이터 기반 학습 등으로
큰 모델의 지식을 작은 모델에 압축합니다.
Phi-4-reasoning-plus(14B)가 AIME 2024에서 81.3%를 기록해
DeepSeek-R1-Distill-70B(69.3%)을 넘겼습니다.

2. 양자화(Quantization)

32비트 → 8비트 → 4비트로 가중치 정밀도를 줄여도
성능 손실이 미미합니다.
7B 모델이 4비트 양자화로 4GB VRAM에서 동작합니다.
일반 노트북에서 로컬 LLM이 가능해진 핵심 기술.

3. MoE (Mixture of Experts)

전체 파라미터는 크지만
추론 시 일부 전문가만 활성화하여
실질 연산량을 줄입니다.
DeepSeek, Mixtral이 이 방식으로 비용 파괴를 달성했습니다.

4. 추론 최적화

Speculative Decoding, Continuous Batching,
KV-cache 최적화, PagedAttention 등으로
같은 모델에서도 처리량이 2~3배 증가했습니다.
하드웨어를 바꾸지 않고도 비용이 절반으로 줄어듭니다.

1. 로컬 LLM이 현실적 선택지가 되었다

8B 모델이 일반 GPU(RTX 4060 급) 하나에서 동작합니다.
데이터가 외부로 나가지 않고,
토큰당 과금이 없으며,
커스터마이징이 자유롭습니다.

2. “모델 선택”보다 “파이프라인 설계”가 중요하다

모델 성능 차이가 줄어들면서
RAG 파이프라인, 도구 설계, 프롬프트 엔지니어링 등
모델 주변의 설계가 최종 품질을 결정합니다.
모델은 교체 가능하지만, 파이프라인은 자산입니다.

3. 비용 때문에 AI를 못 쓰는 시대는 끝났다

2023년에 월 수천만원이던 API 비용이
2026년에는 월 수만원으로 줄었습니다.
로컬 모델을 쓰면 서버 유지비만 있으면 됩니다.
비용이 아니라 활용 방법이 병목입니다.

4. MCP로 모델을 교체 가능하게 만들어라

모델 가격이 분기마다 바뀌는 시대에
특정 모델에 종속되면 안 됩니다.
MCP로 도구를 분리하면
LLM을 교체해도 나머지가 그대로 동작합니다.

Bubble Embedding

경량 벡터 임베딩 모델.
“크면 좋다”가 아닌 “작아도 충분하다”를 추구합니다.

LLM Router

질문 복잡도에 따라 소형/대형 모델을 자동 라우팅합니다.
간단한 질문은 3.8B로, 복잡한 질문만 8B+로 보내
비용을 최소화하면서 품질을 유지합니다.