활성 파라미터 (Active Parameters)

활성 파라미터(Active Parameters)는 모델이 입력을 처리할 때 실제 계산에 사용하는 파라미터의 수를 가리키는 지표입니다. 전문가 혼합 모델에서는 보통 토큰 하나를 처리하는 경로를 기준으로 설명합니다. 모델이 가진 전체 파라미터 중 선택된 전문가와 공유 부분이 계산에 참여하므로, 전체 크기와 토큰당 사용하는 크기를 나누어 읽을 수 있습니다.

토큰마다 선택되는 계산 경로

파라미터는 신경망이 학습을 통해 조정하는 수치입니다. 전문가 혼합, MoE 구조에서는 여러 전문가 신경망을 마련하고 입력에 따라 일부를 골라 계산합니다. 이때 선택을 담당하는 라우터가 각 토큰을 어느 전문가에게 보낼지 결정합니다. 한 토큰을 처리하는 동안 모든 전문가를 거칠 필요가 없으므로, 모델에 보관된 파라미터 수보다 실제 경로에 쓰이는 수가 작아집니다.

Mixtral 원 논문은 각 층에 전문가 여덟 개를 두고, 토큰마다 라우터가 두 개를 선택하는 구조를 설명합니다. 논문 초록은 전체 47B 파라미터 가운데 추론 시 토큰당 13B를 활성 파라미터로 사용한다고 제시합니다. 여기서 B는 십억을 뜻하므로 각각 약 470억 개와 130억 개입니다. 두 수치는 같은 모델을 서로 다른 기준으로 센 값이며, 전체 파라미터 규모와 토큰당 계산 경로를 구분해 보여 줍니다.

선택되는 전문가가 모든 토큰에서 같을 필요는 없습니다. 같은 논문은 시간 단계에 따라 선택된 전문가가 달라질 수 있다고 설명합니다. 활성 파라미터 수가 작다는 말은 특정 일부만 영구적으로 남기고 나머지를 버렸다는 뜻과 다릅니다. 어떤 토큰에서는 쓰이지 않은 전문가가 다른 토큰에서는 선택될 수 있으며, 여러 토큰이 이어지는 작업 전체에서는 더 넓은 범위의 파라미터가 사용될 수 있습니다.

전체 파라미터와 메모리 사용량의 차이

활성 파라미터를 전문가 수만으로 계산하면 공유 부분을 빠뜨릴 수 있습니다. Hugging Face의 MoE 기술 해설은 전문가로 나뉜 층 외에 어텐션처럼 토큰들이 공통으로 거치는 계산이 있다고 설명합니다. 각 전문가가 완전한 모델 하나인 것으로 보고 크기를 단순히 곱하면, 공유 파라미터를 중복해서 셀 수 있습니다. 전체 크기와 활성 크기를 비교할 때는 어떤 부분이 전문가에 속하고 어떤 부분이 공유되는지 함께 확인합니다.

한 번의 계산에서 사용하지 않았다고 그 전문가의 가중치가 저장 공간에서 없어지는 것은 아닙니다. Hugging Face 해설은 모든 전문가의 가중치를 메모리에 올리는 실행에서는 전체 모델을 담을 메모리가 필요하다고 설명합니다. 활성 파라미터 수만큼의 작은 모델을 저장하는 것과 같은 조건으로 메모리를 계산할 수는 없습니다. 토큰당 계산량을 줄이는 효과와 전체 가중치를 보관하는 비용은 나누어 살펴봅니다.

파라미터 개수와 메모리 용량은 단위부터 다릅니다. 파라미터 개수는 모델 안의 수치가 몇 개인지 세고, 메모리 용량은 그것을 저장하는 데 필요한 바이트를 셉니다. 같은 개수라도 수치를 어떤 정밀도로 저장하는지에 따라 공간이 달라집니다. Hugging Face 해설은 낮은 정밀도가 텐서를 저장하는 메모리를 줄이는 효과도 설명합니다. 모델 크기를 비교할 때는 파라미터 개수 옆의 B와 저장 용량을 나타내는 GB를 같은 단위로 읽지 않습니다.

계산량과 실제 성능을 비교하는 기준

활성 파라미터 수는 계산에 참여하는 모델 규모를 설명하지만 연산 횟수 자체는 아닙니다. 부동소수점 연산 횟수인 FLOPs는 계산 작업을 세고, 활성 파라미터는 사용한 파라미터를 셉니다. 서로 관련된 지표여도 모델의 공유 계산이나 처리할 토큰 수 같은 조건이 필요합니다. Mixtral의 활성 수치만 가져와 구조가 다른 모델과 실행 시간이 같다고 판단하면, 비교에 필요한 계산 조건을 빠뜨리게 됩니다.

전문가가 여러 장치에 나뉘어 있으면 토큰을 해당 전문가가 있는 장치로 보내는 작업도 발생합니다. Hugging Face 해설은 전문가 병렬화와 장치 사이 통신 비용을 함께 다룹니다. 또 토큰이 일부 전문가에 몰리면 작업이 고르게 배분되지 않을 수 있다고 설명합니다. 활성 파라미터 수가 같더라도 통신과 작업 배분에 따라 실행 효율이 달라질 수 있으므로, 실제 속도를 비교할 때는 실행 환경과 입력 조건을 맞춘 측정이 필요합니다.

모델 설명에서 전체 파라미터와 활성 파라미터가 함께 나오면 우선 토큰당 수치인지, 어떤 경로를 포함했는지 확인합니다. Mixtral의 숫자는 그 논문이 설명하는 구조의 예시이며 모든 MoE 모델의 고정 비율이 아닙니다. 실제 도입을 검토한다면 모델을 올리는 데 필요한 메모리, 해당 환경의 응답 시간, 목적에 맞는 평가 결과를 각각 확인합니다. 활성 파라미터 수 하나만으로 모델의 답변 품질이나 배포에 필요한 장비를 결정할 수는 없습니다.