Key Takeaways
전문가 혼합(MoE)은 하나의 거대한 신경망을 여러 개의 작은 ‘전문가’ 네트워크로 쪼갠 뒤, 입력 토큰마다 라우터가 그중 일부만 골라 켜는 AI 모델 구조입니다. 덕분에 전체 파라미터는 수천억 개라도 한 번의 추론에서 실제로 계산되는 ‘활성 파라미터’는 그 일부에 그쳐, 같은 크기의 밀집(dense) 모델보다 훨씬 빠르고 저렴하게 동작합니다. Switch Transformer·Mixtral·딥시크 V3가 모두 이 방식을 씁니다. 단, 활성은 일부여도 모든 전문가를 메모리(VRAM)에 올려둬야 한다는 한계가 따라옵니다.
- 구조: 트랜스포머의 큰 FFN 한 개를 여러 개의 작은 전문가 + 라우터로 교체해 토큰마다 일부만 활성화(조건부 연산)
- Mixtral 8x7B: 총 46.7B 파라미터, 토큰당 활성 12.9B — ‘12.9B 모델과 같은 속도·비용’으로 동작
- 딥시크 V3: 총 671B 파라미터 중 토큰당 37B만 활성화하는 대형 MoE
- 대가: 활성은 일부여도 모든 전문가의 가중치를 항상 VRAM에 올려둬야 함
파라미터가 수천억 개인 거대 AI 모델이 작은 모델만큼 가볍게 답하는 비결, 바로 전문가 혼합(MoE, Mixture of Experts)입니다. 모델은 해마다 커지는데 정작 응답 속도와 비용은 오히려 줄어드는 이 역설의 뒤에 이 구조가 자리 잡고 있습니다.
이 글은 전문가 혼합이 정확히 무엇이고, 라우터가 어떻게 전문가를 고르며, ‘총 파라미터’와 ‘활성 파라미터’가 왜 다른지를 처음부터 짚어 드립니다. Switch Transformer·Mixtral·딥시크 V3 같은 실제 모델로 개념을 확인하고, 이 구조가 떠안는 메모리 비용까지 함께 봅니다. 수식 없이도 ‘왜 거대 모델이 의외로 싸고 빠른가’라는 질문에 스스로 답할 수 있게 되는 것이 목표입니다.
전문가 혼합(MoE)이란? 한 문장 정의
전문가 혼합(MoE)은 하나의 거대한 신경망을 여러 개의 작은 ‘전문가(expert)’로 나누고, 입력마다 그중 일부만 골라 쓰는 모델 구조입니다. 모든 계산을 한 덩어리 신경망이 떠맡는 대신, 토큰(token, 모델이 처리하는 단어·기호 조각)마다 필요한 전문가에게만 일을 넘기는 방식입니다.
핵심 개념은 ‘조건부 연산(conditional computation)’입니다. 모델이 가진 능력의 총량(파라미터)은 전부 그대로 두되, 한 번의 계산에서 실제로 켜지는 부분만 입력에 따라 달라집니다. 덕분에 모델의 ‘덩치’와 ‘한 번에 드는 계산량’을 서로 떼어 놓고 조절할 수 있습니다.
왜 MoE가 필요했나: 밀집 모델의 벽
전통적인 트랜스포머는 ‘밀집(dense) 모델’입니다. 토큰 하나를 처리할 때마다 신경망의 모든 파라미터를 빠짐없이 계산에 동원합니다. 모델을 키워 더 똑똑하게 만들수록, 토큰 하나당 드는 계산량도 그만큼 무겁게 따라 늘어납니다.
문제는 비용입니다. 파라미터를 두 배로 늘리면 학습과 추론에 드는 연산도 대체로 그만큼 불어나, 모델을 키우는 일 자체가 점점 더 비싸집니다. 이렇게 모델 규모와 비용이 함께 치솟는 구조는 AI 컴퓨트 비용 문제의 핵심이기도 합니다.
전문가 혼합은 바로 이 고리를 끊으려는 시도입니다. 모델의 용량(총 파라미터)은 계속 키우되 토큰마다 켜지는 부분만 작게 유지하면, ‘크지만 가벼운’ 모델이 가능하다는 발상입니다.
MoE는 어떻게 작동하나: 전문가 + 라우터 + 희소 활성화
MoE의 변화는 트랜스포머 블록 안의 ‘FFN(피드포워드 신경망, 각 토큰을 변환하는 작은 신경망)’ 자리에서 일어납니다. 밀집 모델이 이 자리에 큰 FFN 하나를 두는 반면, MoE는 같은 자리에 여러 개의 작은 FFN—즉 ‘전문가’—를 나란히 둡니다.
그 앞에는 ‘라우터(router) 또는 게이팅 네트워크(gating network)’가 붙습니다. 라우터는 보통 작은 선형 레이어와 소프트맥스로 이뤄진 가벼운 분류기로, 토큰마다 어떤 전문가가 가장 적합한지 점수를 매깁니다. 그 점수에서 상위 몇 개(top-k)만 골라 토큰을 흘려보내고, 나머지 전문가는 그 토큰에 대해 아예 켜지지 않습니다.
여기서 핵심은 고르는 전문가 수가 모델마다 다르다는 점입니다. Switch Transformer는 가장 단순하게 토큰당 전문가 1개만 쓰는 top-1 라우팅을 택했고, Mixtral은 8개 전문가 중 2개를 쓰는 top-2 방식을 씁니다. 이렇게 일부만 켜는 것을 ‘희소 활성화(sparse activation)’라 부르며, 이것이 MoE 효율의 출발점입니다. 전문가를 몇 개 켜느냐는 품질과 비용 사이의 균형점을 정하는 설계 선택입니다.
총 파라미터 vs 활성 파라미터: 효율의 핵심
MoE를 이해하는 가장 중요한 한 쌍의 숫자가 ‘총 파라미터’와 ‘활성 파라미터’입니다. 총 파라미터는 모델이 가진 가중치 전체로, 모델을 메모리에 올릴 때 필요한 크기를 결정합니다. 활성 파라미터는 토큰 하나를 처리할 때 실제로 계산에 동원되는 파라미터로, 속도와 연산 비용(FLOPs, 부동소수점 연산 횟수)을 결정합니다.
Mixtral 8x7B가 좋은 예입니다. 이 모델의 총 파라미터는 46.7B(약 467억)이지만, 토큰당 활성 파라미터는 12.9B에 그칩니다. 그래서 Mistral은 이 모델이 ‘12.9B 모델과 같은 속도·비용으로 동작한다’고 설명합니다.
한마디로, 총 파라미터는 모델이 ‘얼마나 많이 아느냐’를, 활성 파라미터는 ‘한 번 답할 때 얼마나 일하느냐’를 가리킵니다. 이 둘 사이의 간극이 클수록 MoE가 주는 효율 이득도 커집니다.
실제 MoE 모델 비교: Switch·Mixtral·딥시크
개념을 실제 모델로 확인해 봅시다. 2021년 구글이 발표한 Switch Transformer는 라우팅을 top-1으로 단순화해 모델을 조 단위(trillion) 파라미터 규모까지 끌어올렸고, 같은 품질에서 T5-XXL 대비 4배, 더 작은 T5(Base·Large) 대비 최대 7배 빠른 사전학습을 보였습니다.
2023년 12월 공개된 Mistral의 Mixtral 8x7B는 전문가 8개 중 레이어마다 2개를 켜는 구조입니다. 대부분의 벤치마크에서 Llama 2 70B를 능가하면서 추론은 6배 빨랐고, GPT-3.5와 견줄 성능(MT-Bench 8.30)을 오픈소스(Apache 2.0) 라이선스로 공개했습니다.
2024년 말 공개된 딥시크 V3는 MoE를 한층 더 키운 사례입니다. 총 671B 파라미터 중 토큰당 37B만 활성화하며, 멀티헤드 잠재 어텐션(MLA)과 DeepSeekMoE 구조를 함께 씁니다. 14.8조 토큰을 학습하는 데 H800 GPU로 약 2.788M 시간이 들었고, 보조 손실 없이(auxiliary-loss-free) 전문가 균형을 맞추는 새 기법을 도입했습니다.
세 모델을 나란히 놓으면 한 가지 흐름이 보입니다. 전문가 수와 활성 비율은 제각각이지만, ‘라우터가 일부 전문가만 켠다’는 뼈대는 똑같습니다. Mixtral은 Apache 2.0 라이선스로, 딥시크 V3는 기술 보고서와 함께 공개돼 누구나 그 구조를 직접 뜯어볼 수 있습니다. 그만큼 MoE는 일부 연구실의 실험이 아니라, 공개적으로 검증된 표준 설계로 자리 잡았습니다.
| 모델 | 총 파라미터 | 토큰당 활성 | 라우팅 | 특징 |
|---|---|---|---|---|
| Switch Transformer (2021) | 조 단위(trillion) | 전문가 1개 | top-1 | T5 대비 최대 7배 사전학습 가속 |
| Mixtral 8x7B (2023) | 46.7B | 12.9B | 8개 중 2개 (top-2) | Llama 2 70B 능가·추론 6배 |
| 딥시크 V3 (2024) | 671B | 37B | DeepSeekMoE | 보조손실 없는 로드밸런싱 |
MoE의 그림자: 메모리·로드밸런싱·운영 복잡성
MoE에는 분명한 대가가 따릅니다. 추론할 때 한 토큰에 일부 전문가만 켜지더라도, 어느 전문가가 선택될지 미리 알 수 없으니 모든 전문가의 가중치를 항상 메모리(VRAM, 그래픽카드의 작업용 메모리)에 올려둬야 합니다. 그래서 Mixtral은 12.9B만 계산에 쓰면서도 약 47B 모델에 해당하는 VRAM을 요구합니다.
두 번째 과제는 균형입니다. 라우터를 그냥 두면 인기 있는 몇몇 전문가에만 토큰이 몰려 나머지가 놀게 되는 ‘전문가 붕괴’가 일어나기 쉽습니다. 그래서 학습 때 토큰을 전문가에 고르게 나누도록 유도하는 ‘로드밸런싱 보조 손실(auxiliary loss)’을 더하며, 딥시크 V3는 이 보조 손실 자체를 없앤 새 방식을 제시했습니다.
세 번째는 운영 복잡성입니다. 라우팅, 로드밸런싱, 전문가 분산 배치까지 챙길 요소가 늘어나기 때문에, 같은 성능을 내는 밀집 모델보다 학습·서빙 파이프라인을 설계하고 안정화하기가 더 까다롭습니다. 그래서 MoE 외에도 AI의 효율을 끌어올리는 다양한 접근이 함께 연구되고 있습니다.
MoE의 짧은 역사: 1991 → 2017 → 오늘
MoE는 최신 유행처럼 보이지만 뿌리가 깊습니다. 아이디어 자체는 1991년 ‘Adaptive Mixture of Local Experts’ 연구에서 출발했는데, 여러 전문가 네트워크와 이를 중재하는 게이팅을 함께 학습시키는 발상이 이미 그때 제시됐습니다.
현대 딥러닝으로 본격적으로 넘어온 것은 2017년입니다. Shazeer 연구진이 sparsely-gated MoE를 137B 파라미터 LSTM에 적용해, 거대 신경망에서도 일부만 켜는 방식이 실제로 통한다는 것을 보였습니다. 이어 2021년 Switch Transformer가 이를 트랜스포머에 단순하고 확장 가능한 형태로 안착시키면서, 오늘날 Mixtral과 딥시크로 이어지는 흐름의 표준 틀이 됐습니다. 이런 거대 모델 설계의 진화는 추론 모델의 발전과도 맞물려 있습니다.
정리하면, MoE의 역사는 ‘모델을 더 키우면서도 계산은 아낀다’는 한 가지 질문에 대한 답의 진화입니다. 앞으로 새 거대 모델이 공개될 때 ‘총 파라미터’와 ‘토큰당 활성 파라미터’를 나란히 확인하면, 그 모델이 MoE를 쓰는지, 효율을 어디서 얻는지 한눈에 가늠할 수 있습니다.
답하기 전에 ‘생각하는’ AI: 추론 모델 완벽 가이드
AI 에이전트 vs 챗봇 vs LLM 차이 완벽 정리 2026
자주 묻는 질문 (FAQ)
Q1. 전문가 혼합(MoE)이란 무엇인가요?
하나의 거대한 신경망을 여러 개의 작은 ‘전문가(expert)’ 네트워크로 나눈 뒤, 라우터(게이팅 네트워크)가 입력 토큰마다 그중 일부만 골라 활성화하는 AI 모델 구조입니다. 모든 파라미터를 매번 계산하는 밀집 모델과 달리, 필요한 전문가만 켜기 때문에 용량은 키우되 연산은 아끼는 ‘조건부 연산’을 구현합니다. 즉, 모델이 ‘아는 양’은 키우면서도 한 번에 쓰는 계산량은 작게 유지하는 것이 핵심입니다.
Q2. MoE는 일반 밀집(dense) 모델과 무엇이 다른가요?
밀집 모델은 토큰 하나를 처리할 때 모델의 모든 파라미터를 계산합니다. MoE는 전체 파라미터 중 라우터가 고른 소수의 전문가만 계산하므로, 같은 총 파라미터 규모라도 토큰당 연산량(활성 파라미터)이 훨씬 적습니다. 그 결과 비슷한 품질을 더 빠르고 저렴하게 냅니다.
Q3. ‘활성 파라미터’와 ‘총 파라미터’의 차이는 무엇인가요?
총 파라미터는 모델이 가진 가중치 전체로, 메모리(VRAM) 크기를 결정합니다. 활성 파라미터는 토큰 하나를 처리할 때 실제로 계산되는 파라미터로, 속도와 비용(FLOPs)을 결정합니다. 예를 들어 Mixtral 8x7B는 총 46.7B이지만 토큰당 활성은 12.9B입니다.
Q4. MoE 모델은 왜 메모리를 많이 쓰나요?
추론할 때 한 토큰에 일부 전문가만 활성화되더라도, 어떤 전문가가 선택될지 미리 알 수 없으므로 모든 전문가의 가중치를 항상 메모리에 올려둬야 하기 때문입니다. Mixtral은 12.9B만 활성화돼도 약 47B 모델에 해당하는 VRAM이 필요합니다.
Q5. 라우터(게이팅 네트워크)는 전문가를 어떻게 고르나요?
라우터는 보통 작은 선형 레이어와 소프트맥스로 구성돼, 각 토큰에 대해 전문가별 점수를 매기고 상위 k개(top-k)를 선택합니다. Switch Transformer는 top-1(1개), Mixtral은 top-2(2개)를 씁니다. 특정 전문가에 토큰이 몰리지 않도록 로드밸런싱 보조 손실로 균형을 잡습니다.
Q6. 대표적인 MoE 모델에는 무엇이 있나요?
조 단위 파라미터로 확장한 Google Switch Transformer, Mistral의 Mixtral 8x7B(46.7B 총·12.9B 활성), 딥시크 V3(671B 총·37B 활성)가 대표적입니다. 모두 라우터로 일부 전문가만 켜는 같은 원리를 공유합니다. 오픈소스 진영에서 널리 채택돼 거대 모델을 합리적 비용으로 돌리는 표준 패턴으로 자리 잡았습니다.
참고 자료
- Hugging Face — Mixture of Experts Explained (2023-12-11) — MoE 정의: 밀집 FFN을 여러 전문가 + 라우터로 교체해 토큰마다 일부만 활성화(조건부 연산).
- Hugging Face — Mixture of Experts Explained (2023-12-11) — 역사: 1991년 Adaptive Mixture of Local Experts, 2017년 Shazeer 외의 137B LSTM sparsely-gated MoE.
- Hugging Face — Mixture of Experts Explained (2023-12-11) — 총 vs 활성 파라미터 구분과 모든 전문가가 VRAM에 상주해야 하는 메모리 비용(Mixtral 약 47B 상당).
- Switch Transformers, Fedus et al., arXiv:2101.03961 (2021-01-11) — top-1 라우팅 단순화, 조 단위 파라미터 확장, T5-XXL 대비 4배·소형 T5 대비 최대 7배 사전학습 가속.
- Mistral AI — Mixtral of experts (2023-12-11) — Mixtral 8x7B 총 46.7B·활성 12.9B, 전문가 8개 중 2개(top-2), 컨텍스트 32K, Apache 2.0.
- Mistral AI — Mixtral of experts (2023-12-11) — 성능: Llama 2 70B 대부분 벤치마크 능가·추론 6배, GPT-3.5급(MT-Bench 8.30).
- DeepSeek-V3 Technical Report, arXiv:2412.19437 (2024-12-27) — 총 671B 중 토큰당 37B 활성, Multi-head Latent Attention(MLA)과 DeepSeekMoE 채택.
- DeepSeek-V3 Technical Report, arXiv:2412.19437 (2024-12-27) — 보조손실 없는 로드밸런싱과 다중 토큰 예측, 14.8조 토큰 학습에 약 2.788M H800 GPU시간.
Jugger | JuggerInsight 운영자 · 백엔드 엔지니어
2021년 6월부터 솔루션 서비스 소프트웨어 도메인에서 백엔드 엔지니어로 재직 중입니다. 시스템 설계·API 구현·운영 환경의 실무 시각을 AI·IT·클라우드 인프라 관련 글에 그대로 반영합니다.
블록체인·매크로 경제 분야는 직접적 직업 경험은 없으나, SEC 공시·백서·기관 리포트·정부 통계 등 1차 자료 인용을 기반으로 분석합니다. 추정과 사실을 본문에서 명확히 구분하고, 검증되지 않은 정보는 게재하지 않는 것을 원칙으로 합니다. 모든 글의 1차 출처 링크는 본문 하단 References에 전수 공개합니다.
콘텐츠 초안 단계에서 AI 모델을 보조 도구로 활용하나, 모든 글은 운영자가 검토·수정·검증한 뒤 발행합니다. 오류 발견 시 본문에 정정 표시를 남깁니다.
문의: jjunggulee@gmail.com