LoRA

고급

LoRA는 AI 문맥에서 자주 등장하는 개념입니다. 이 페이지는 고급 난이도로 LoRA의 뜻과 쓰임을 빠르게 이해할 수 있도록 정리한 AI 용어사전 항목입니다.

LoRA를 처음 보는 독자도 헷갈리지 않도록 정의와 맥락를 한 페이지에 묶었습니다. 아래 설명을 먼저 읽고, 이어서 연결된 개념과 글까지 보면 이해가 훨씬 빨라집니다.

LoRA(Low-Rank Adaptation)는 AI 모델 전체를 재학습하지 않고, 소수의 추가 파라미터만 학습하는 경량 파인튜닝 기법입니다. 원본 모델 가중치는 고정한 채로 저차원 행렬 쌍을 삽입해 특정 작업에 특화된 능력을 주입합니다.

LoRA가 중요한 이유는 비용과 접근성에 있습니다. GPT-5.4나 Claude Opus 4.6 같은 대형 모델을 전체 파인튜닝하려면 수천만 원의 GPU 비용이 필요하지만, LoRA는 전체 파라미터의 0.1~1%만 학습하므로 소비자용 GPU 한 장으로도 가능합니다. 학습된 LoRA 가중치(어댑터)는 수십~수백 MB에 불과해 교환과 배포도 간편합니다.

실제 활용 예시로는 이미지 생성 모델(Stable Diffusion)에 특정 캐릭터 화풍을 학습시키거나, 텍스트 모델에 특정 회사의 말투·도메인 지식을 주입하는 경우가 있습니다. Hugging Face의 PEFT 라이브러리로 몇 줄의 코드로 LoRA 학습을 시작할 수 있습니다.

ℹ️쉽게 말하면

원본 그림(모델)은 그대로 두고, 그 위에 얇은 투명 필름(LoRA 어댑터)을 덧씌워 새로운 스타일을 입히는 것입니다. 필름만 바꾸면 다른 스타일로 전환할 수 있습니다.

LoRA의 수학적 원리를 간단히 풀어보면 이렇습니다. 원본 모델의 가중치 행렬 W는 고정합니다. 여기에 두 개의 작은 행렬 A와 B를 추가하는데, A와 B의 곱 ΔW = BA가 원본 가중치에 더해집니다. 핵심은 A와 B의 랭크(rank)를 낮게 설정한다는 점입니다. 예를 들어 원본 행렬이 4096×4096이라면, A는 4096×8, B는 8×4096로 만들어 파라미터 수를 크게 줄입니다. 이 랭크 값(r)은 하이퍼파라미터로 조정할 수 있으며, 값이 클수록 표현력이 높아지지만 메모리와 계산량도 늘어납니다.

LoRA를 실제로 적용하는 위치도 중요한 설계 선택입니다. 트랜스포머 모델에서는 주로 어텐션 레이어의 Query, Key, Value 행렬에 LoRA를 삽입합니다. 일부 구현에서는 피드포워드 레이어에도 적용합니다. 삽입 위치와 랭크 값을 실험적으로 조정하면서 성능과 효율의 균형을 맞추는 것이 LoRA 파인튜닝의 주요 작업입니다.

LoRA의 변형 기법도 여러 가지가 있습니다. QLoRA는 원본 모델을 4비트로 양자화한 뒤 LoRA를 적용해 메모리 사용량을 더욱 줄입니다. 덕분에 24GB VRAM 소비자용 GPU에서도 70B 규모 모델을 파인튜닝하는 것이 가능합니다. DoRA는 가중치를 크기(magnitude)와 방향(direction)으로 분해해 더 안정적인 학습을 추구하는 방식입니다. AdaLoRA는 레이어별 중요도를 자동으로 측정해 중요한 레이어에 더 많은 랭크를 배분합니다.

LoRA 어댑터의 실용적인 장점 중 하나는 교환 가능성입니다. 동일한 기반 모델에 여러 LoRA 어댑터를 목적에 맞게 만들어두면, 서비스 요청에 따라 어댑터를 동적으로 교체하며 사용할 수 있습니다. 예를 들어 의료 상담용 어댑터, 법률 문서 작성용 어댑터, 특정 작가 문체 모방용 어댑터를 각각 만들어두고 필요에 따라 선택하는 방식입니다. 어댑터 크기가 작아서 교체 비용도 낮습니다.

LoRA를 사용할 때 주의할 점도 있습니다. 학습 데이터의 품질이 낮으면 원하지 않는 방향으로 특화될 수 있습니다. 랭크 값을 너무 낮게 설정하면 표현력이 부족해 원하는 능력이 제대로 학습되지 않고, 너무 높게 설정하면 풀 파인튜닝과 비용 차이가 줄어듭니다. 또한 특정 도메인에 지나치게 특화되면 다른 작업의 성능이 저하되는 망각(Forgetting) 현상도 발생할 수 있습니다. 하지만 전반적으로 LoRA는 제한된 자원으로 LLM을 특화시키는 가장 실용적인 방법으로 자리잡았습니다.

LoRA 학습에 필요한 데이터 양도 전체 파인튜닝보다 훨씬 적습니다. 특정 문체나 도메인 지식을 주입하는 데는 수백에서 수천 개의 예시만으로도 충분한 경우가 많습니다. 학습 데이터가 적을수록 데이터 품질이 더욱 중요합니다. 노이즈가 많거나 일관성 없는 예시가 포함되면 결과물 품질이 눈에 띄게 떨어집니다. 학습 전 데이터 전처리와 품질 검수에 충분한 시간을 투자하는 것이 좋은 LoRA 어댑터를 만드는 핵심 조건입니다.

LoRA는 이미지 생성 커뮤니티에서도 폭넓게 사용됩니다. Civitai 같은 플랫폼에는 수천 개의 Stable Diffusion용 LoRA 어댑터가 공개되어 있습니다. 특정 화풍, 캐릭터, 사진작가 스타일을 담은 어댑터를 기반 모델에 조합해 원하는 이미지를 생성할 수 있습니다. 여러 LoRA 어댑터를 가중치를 조절해 동시에 적용하면 두 가지 이상의 스타일을 혼합한 결과를 만드는 것도 가능합니다.