GLOSSARY

MoE

고급AI 에이전트

이 페이지는 AI 에이전트 문맥에서 자주 쓰이는 MoE의 뜻과 쓰임을 고급 난이도 기준으로 정리한 AI 용어사전 항목입니다. 정의와 맥락, 관련 용어 10개, 관련 글 1개 순서로 묶었으니, 아래 설명을 먼저 읽고 연결된 개념과 글까지 이어서 보면 이해가 빨라집니다.

MoE(Mixture of Experts, 전문가 혼합)는 여러 전문가 하위 네트워크의 출력을 라우터가 정한 비중으로 조합하는 신경망 구조입니다. 언어 모델의 희소 MoE에서는 라우터가 토큰별로 소수 전문가를 골라, 전체 모델 규모를 키우면서 토큰당 연산 증가를 제한합니다.

라우터가 토큰을 전문가 층으로 보낸다

여기서 전문가는 수학, 코딩, 역사 같은 사람의 전문 분야가 아니라 학습 가능한 피드포워드 하위 네트워크를 뜻합니다. 각 전문가는 학습 과정에서 서로 다른 패턴을 처리하게 됩니다. Transformer 기반 MoE에서는 일부 밀집 피드포워드 층을 여러 전문가로 바꾸는 구성이 흔합니다. 어텐션과 임베딩 같은 공유 부분은 모든 토큰에 계속 사용됩니다. 희소 게이트 MoE 원 논문은 학습 가능한 게이트가 각 입력에 사용할 전문가의 희소 조합을 정하는 구조를 제시했습니다.

라우터는 토큰의 현재 표현으로 전문가 점수를 계산하고, 상위 한 개나 몇 개를 선택합니다. 선택된 전문가의 출력은 라우팅 가중치에 따라 합쳐져 다음 층으로 전달됩니다. 같은 문장 안에서도 토큰마다 고른 전문가가 다를 수 있고, 같은 토큰도 층마다 다른 전문가로 갈 수 있습니다. Mixtral 논문은 각 층에서 토큰마다 여덟 전문가 중 둘을 선택하는 구체적인 예를 보여줍니다. 이것은 MoE 전체의 고정 규칙이 아니라 한 모델의 설계입니다.

예를 들어 “서울의 기온을 표로 정리하라”는 입력에서 각 토큰의 은닉 표현이 라우터로 들어갑니다. 라우터는 정해진 점수에 따라 토큰을 전문가로 보내지만, ‘서울’은 지리 전문가, ‘표’는 문서 전문가로 향한다고 사람이 미리 이름 붙이지 않습니다. 학습 뒤 특정 토큰 집단이나 문법 패턴에 대한 전문화가 관찰될 수 있어도, 전문가 하나를 안정된 인간 분야와 일대일로 대응시키면 실제 작동을 과장하게 됩니다.

전체 파라미터와 활성 파라미터를 함께 읽는다

전체 파라미터는 공유 층과 모든 전문가의 가중치를 합친 규모입니다. 활성 파라미터는 토큰 하나를 처리할 때 공유 부분과 선택된 전문가에서 실제 계산에 참여하는 규모를 가리킵니다. 희소 라우팅은 전체 파라미터가 늘어나는 비율만큼 토큰당 연산량이 늘어나는 일을 피하게 해 줍니다. Switch Transformer 논문은 큰 희소 모델의 장점과 함께 통신 비용, 학습 불안정성, 구현 복잡성을 주요 과제로 다룹니다.

두 수치는 모델 비교의 일부일 뿐입니다. 전체 파라미터를 ‘저장된 지식의 총량’으로, 활성 파라미터를 곧바로 속도나 비용으로 바꿔 읽을 수는 없습니다. 성능은 학습 데이터, 최적화, 아키텍처와 평가 과제에 영향을 받습니다. 실제 지연과 비용에는 정밀도, 메모리 대역폭, 배치 크기, 커널 구현, 전문가가 놓인 장치 사이의 통신도 관여합니다. 같은 활성 파라미터 수를 가진 밀집 모델과 MoE 모델이 같은 속도나 품질을 낸다고 예상해서는 안 됩니다.

가중치를 실행할 때 필요한 메모리도 따로 봐야 합니다. 한 토큰이 일부 전문가만 사용해도 시스템은 요청에 따라 어느 전문가든 불러올 수 있어야 합니다. 모든 전문가를 한 GPU에 올릴 필요는 없지만, 여러 장치에 나누거나 더 느린 저장 계층에서 불러오면 통신과 전송 비용이 생깁니다. Hugging Face의 MoE 설명도 전문가 병렬화에서 토큰을 전문가가 있는 작업자로 보내는 통신과 활성값 메모리를 주요 운영 조건으로 설명합니다.

ℹ️활성 파라미터만으로 속도를 단정하지 않습니다

모델 사양의 전체 파라미터와 활성 파라미터를 먼저 구분하되, 실제 처리량과 지연은 메모리 배치, 통신, 정밀도와 실행 소프트웨어까지 측정해 판단합니다.

부하 균형과 외부 모델 라우팅을 구분한다

라우터가 일부 전문가에 토큰을 몰아주면 그 전문가의 처리 한도가 먼저 차고 다른 전문가는 충분히 학습되지 않을 수 있습니다. 구현은 보조 손실, 전문가 용량, 라우터 정규화 같은 방법으로 분배를 조정합니다. 토큰이 장치 사이를 오가는 구성에서는 전문가 선택이 고르지 않을수록 대기와 통신 병목도 커질 수 있습니다. 최고 정확도만 볼 것이 아니라 라우팅 분포, 버려지거나 우회된 토큰, 장치별 처리량과 지연을 함께 관찰해야 합니다.

MoE의 라우터는 보통 한 모델 내부에서 토큰을 하위 네트워크로 보냅니다. 애플리케이션이 질문 난이도나 비용 기준에 따라 서로 독립된 여러 모델 중 하나를 고르는 모델 라우팅은 시스템 바깥의 선택입니다. 두 방식 모두 router라는 말을 쓸 수 있지만 선택 단위와 학습 범위가 다릅니다. 내부 MoE는 대개 모델 학습과 함께 라우터와 전문가를 최적화하고, 외부 모델 라우팅은 제품 정책이나 별도 분류기가 API 호출 대상을 정합니다.

MoE를 도입할지는 파라미터 숫자보다 운영 조건으로 판단합니다. 큰 모델 용량이 필요하고 전문가 병렬화를 지원하는 여러 장치를 쓸 수 있다면 희소 계산의 이점이 커질 수 있습니다. 메모리가 작거나 장치 간 통신이 느리고 요청 배치도 작다면 큰 가중치와 라우팅 오버헤드가 장점을 줄일 수 있습니다. 비교할 때는 같은 품질 목표에서 처리량, 첫 토큰 지연, 토큰당 지연, 메모리 사용량과 통신량을 실제 배포 환경에서 측정해야 합니다.

RELATED TERMS