MoE

MoE(Mixture of Experts, 전문가 혼합)는 거대 언어 모델(LLM) 안에 여러 개의 작은 전문가 신경망을 두고, 입력 토큰마다 그중 일부만 골라 활성화하는 구조입니다. 모든 입력을 모델 전체에 통과시키지 않고, 라우터(router)라는 게이트가 "이 토큰은 어느 전문가에게 보낼지"를 매번 결정합니다. 덕분에 모델은 엄청나게 많은 지식을 담을 수 있으면서도, 한 번의 계산에서는 그중 일부만 쓰기 때문에 속도와 비용을 아낄 수 있습니다.

여기서 가장 중요한 구분이 전체 파라미터(parameter)와 활성 파라미터입니다. 전체 파라미터는 모델이 학습으로 쌓아 둔 지식의 총량이고, 활성 파라미터는 토큰 하나를 처리할 때 실제로 켜지는 양입니다. 예를 들어 딥시크 V3는 전체 6,710억 개 파라미터를 가지고 있지만, 토큰 하나마다 256개 전문가 중 8개만 골라 약 370억 개만 활성화합니다. 지식은 6,710억 개 전체에 저장돼 있는데, 계산 비용은 370억 개짜리 모델 수준만 냅니다. 메타의 라마 4 매버릭, 그리고 초기 MoE 모델로 유명한 믹스트랄도 같은 원리로 동작합니다.

비유하자면 큰 병원과 같습니다. 환자가 모든 진료과 의사를 다 만나는 게 아니라, 접수처(라우터)가 증상을 보고 "당신은 정형외과와 영상의학과로 가세요"라고 두세 과만 안내합니다. 다리를 다친 환자는 정형외과로, 기침이 심한 환자는 호흡기내과로 보내는 식입니다. 병원에는 수십 개 과가 있어 어떤 환자든 받을 수 있지만, 한 사람이 실제로 만나는 의사는 몇 명뿐입니다. 그래서 병원 전체 규모(전체 파라미터)는 크지만, 환자 한 명에게 드는 시간과 비용(활성 파라미터)은 작게 유지됩니다. 모든 환자를 모든 과에 다 보내는 종합검진 방식이 일반(밀집) 모델이라면, MoE는 증상에 맞는 과만 골라 보내는 효율적인 병원인 셈입니다.

자주 헷갈리는 점은 활성 파라미터만 보고 모델이 작다고 판단하는 것입니다. 활성 370억이라고 해서 370억짜리 일반 모델과 똑같지는 않습니다. 6,710억 개에 저장된 다양한 전문가 지식을 골라 쓰기 때문에, 같은 계산 비용을 쓰는 일반 모델보다 훨씬 똑똑하게 답합니다. 실제로 믹스트랄 8x7B는 활성 파라미터가 130억뿐이지만, 700억 개를 통째로 쓰는 모델과 맞먹는 성능을 내면서 속도는 여섯 배 빨랐습니다. 이런 효율 덕분에 MoE는 같은 비용으로 더 큰 용량을 확보하는 방법이 됐습니다.

MoE가 중요한 이유는 저비용 고성능 흐름의 핵심에 있기 때문입니다. 모델을 무작정 크게 만들면 학습과 추론(inference) 비용이 감당하기 어려워지는데, MoE는 용량은 키우면서 한 번에 쓰는 연산은 줄이는 절충안을 제시합니다. 딥시크가 비슷한 성능의 다른 모델보다 훨씬 싼 가격에 서비스를 내놓을 수 있었던 배경에도 이 구조가 있습니다. 그래서 트랜스포머(transformer) 구조 위에 MoE를 얹은 모델이 최근 강력한 공개 모델의 주류가 됐습니다. 적은 비용으로 큰 지식을 다루려는 회사라면 거의 빠짐없이 검토하는 설계가 됐습니다. 다만 전문가 사이에 일이 골고루 분배되도록 부하를 조절하는 일이 까다롭고, 전체 파라미터를 모두 메모리에 올려야 해서 운영이 단순하지만은 않습니다. 특정 전문가에게만 일이 몰리면 나머지 전문가가 놀게 되고 효율이 떨어지는데, 딥시크 V3는 게이트 값에 보정치를 더해 쏠림을 자동으로 완화하는 방법을 썼습니다. 이런 세밀한 조정이 MoE를 제대로 굴리는 기술의 핵심입니다.