SLM

SLM(Small Language Model, 소형 언어 모델)은 파라미터가 수억에서 수십억 개 수준으로 비교적 작게 설계돼, 특정 작업을 빠르고 저렴하게 처리하도록 최적화한 언어 모델입니다. 수천억 개가 넘는 파라미터로 온갖 일을 다 하려는 거대 언어 모델(LLM)과 달리, 꼭 필요한 능력만 압축해 담습니다. 작다고 약한 게 아니라, 좁은 범위에서는 큰 모델 못지않게 똑똑하면서 훨씬 가볍습니다.

SLM이 주목받는 이유는 비용과 속도, 그리고 프라이버시 때문입니다. 모델이 작으면 스마트폰이나 노트북, 산업 현장의 작은 기기 안에서도 직접 돌릴 수 있습니다. 클라우드 서버를 거치지 않으니 데이터가 기기 밖으로 나가지 않고, 인터넷이 끊겨도 작동하며, 응답도 즉각적입니다. 예를 들어 병원에서 환자 기록을 요약할 때, 민감한 정보를 외부 서버로 보내지 않고 원내 기기 안에서만 처리할 수 있습니다. 대량의 반복 작업에서는 클라우드 API보다 70~90%까지 비용을 줄인다는 분석도 있습니다. 호출할 때마다 돈이 빠져나가는 클라우드와 달리, 한 번 기기에 올려 두면 추가 요금 없이 계속 쓰는 셈입니다. 온디바이스 AI를 현실로 만드는 핵심 부품인 셈입니다.

쉽게 비유하면 LLM이 모든 분야를 두루 아는 종합병원이라면, SLM은 한 가지를 깊게 보는 동네 전문의입니다. 감기 기운에 종합병원 응급실까지 가서 오래 기다리고 비싼 비용을 치를 필요는 없습니다. 가깝고 빠르고 저렴한 동네 의원이 더 알맞을 때가 많습니다. 회사 고객 문의를 긴급·일반으로 분류하는 일, 회의록을 세 줄로 줄이는 일, 코드 자동완성처럼 정해진 일이라면 작은 전문가 한 명으로 충분합니다. 오히려 좁은 영역에 맞춰 추가 학습한 SLM이, 그 분야에서는 범용 거대 모델보다 더 정확한 경우도 있습니다.

대표 사례를 보면 그림이 잡힙니다. 마이크로소프트의 Phi-4와 Phi-4 Mini는 작은 크기로도 강한 추론을 보여 주고, 구글은 2026년 4월 Gemma 4를 내놓으며 가장 작은 E2B와 E4B 모델을 4비트 양자화(quantization) 기준 약 5GB 메모리로 스마트폰에서 돌게 만들었습니다. 알리바바의 Qwen3 소형 라인과 미스트랄의 Ministral 3B, 메타의 Llama 3.2 1B·3B도 같은 흐름입니다. Claude Haiku 4.5처럼 빠르고 저렴한 경량 라인도 비슷한 자리를 노립니다. 이런 작은 모델은 큰 모델의 지식을 압축해 옮기는 증류(distillation) 기법으로 만드는 경우가 많습니다. 똑똑한 선생님 모델이 내는 답을 작은 학생 모델이 따라 배우게 해, 크기는 줄이면서 능력은 최대한 물려받는 방식입니다. 여기에 양자화로 숫자 표현을 더 가볍게 누르면, 같은 모델도 더 작은 기기에 들어갑니다.

실제 쓰임새를 떠올리면 더 와닿습니다. 스마트폰 키보드가 다음 단어를 추천하고 문장을 다듬는 기능, 카메라로 찍은 외국어 간판을 즉석에서 번역하는 기능, 자동차 안에서 인터넷 없이도 음성 명령을 알아듣는 기능이 모두 작은 모델이 기기 안에서 돌기에 가능한 일입니다. 큰 모델을 매번 클라우드로 부르면 느리고 비싸고 통신이 끊기면 멈추지만, SLM은 기기 안에서 곧바로 답해 이런 일상 기능에 잘 맞습니다.

한계도 솔직히 알아야 합니다. 작은 모델은 학습한 적 없는 폭넓은 주제를 물으면 엉뚱한 답을 더 자주 내고, 여러 단계를 거치는 복잡한 추론에서도 큰 모델에 밀립니다. 그래서 무엇이든 다 맡기기보다, 잘하는 일을 분명히 정해 두고 쓰는 게 안전합니다. 정리하면 SLM은 LLM을 대체하기보다 보완합니다. 작고 빠른 모델이 일상 작업을 떠안고, 정말 어려운 판단만 큰 모델이 맡는 분업 구조가 자리를 잡아 가고 있습니다. 덕분에 AI는 거대한 데이터센터를 넘어 손안의 기기로까지 퍼지는 중입니다.