사전학습

사전학습(Pre-training)은 모델이 대규모 데이터에서 언어, 코드, 이미지 같은 입력의 규칙을 학습해 이후 여러 업무에 쓸 기반 능력을 만드는 단계입니다. 생성형 언어 모델에서는 사람이 정답 레이블을 일일이 붙이지 않아도 텍스트 자체에서 학습 신호를 만들 수 있습니다. 앞 문맥을 보고 다음 토큰을 예측하는 목표가 널리 쓰이며, OpenAI의 GPT-4 기술 보고서는 해당 모델을 문서의 다음 토큰을 예측하도록 사전학습한 Transformer라고 설명합니다. 이 단계는 특정 회사의 고객 문의에 답하도록 만드는 과정이 아니라, 다양한 입력에서 공통 패턴을 찾도록 만드는 과정입니다.

무엇을 배우나

사전학습 모델은 수많은 문장에서 단어와 문장이 어떻게 이어지는지, 코드가 어떤 구조를 갖는지, 자주 함께 나타나는 개념이 무엇인지 통계적 관계를 배웁니다. 그래서 처음 보는 문장을 이어 쓰거나 요약하는 능력의 기반이 생깁니다. 하지만 학습 데이터에 어떤 문장이 있었다고 해서 모델이 그 문서를 정확한 출처와 함께 꺼내 줄 수 있다는 뜻은 아닙니다. 답이 그럴듯해도 사실과 다를 수 있으므로, 중요한 업무에는 검증 절차가 필요합니다.

비유하면 사전학습은 많은 책과 자료를 읽으며 언어 감각을 기르는 과정에 가깝습니다. 그러나 사람처럼 읽은 책의 제목과 쪽수를 기억해 인용하는 과정과는 다릅니다. 모델은 입력을 보고 다음에 올 가능성이 높은 표현을 계산하도록 조정됩니다. 그래서 문장을 만들 수 있어도, 답의 근거가 어느 문서인지 항상 밝히거나 최신 내용을 보장하지는 못합니다. 이 차이가 검색과 출처 확인이 필요한 서비스에서 중요합니다.

사전학습의 학습 목표도 모델마다 다릅니다. 다음 토큰 예측 외에 일부 토큰을 가리고 주변 문맥으로 맞히는 방식도 있습니다. Google Research의 BERT 논문은 레이블 없는 텍스트에서 양쪽 문맥을 함께 사용해 표현을 사전학습하고, 이후 과제별로 파인튜닝하는 구성을 제시합니다. 사전학습을 단순히 인터넷을 외우는 일이라고 부르면, 학습 목표와 모델 구조의 차이를 놓치게 됩니다.

후속학습과의 관계

사전학습 뒤에는 목표에 따라 여러 종류의 후속 학습이 이어질 수 있습니다. 파인튜닝은 분류, 요약, 형식 준수처럼 특정 업무의 예시를 사용해 모델의 행동을 조정합니다. 사람의 선호나 안전 기준을 반영하는 후속 학습도 별도로 쓰입니다. 모든 모델이 같은 순서와 데이터로 학습되는 것은 아니지만, 사전학습이 넓은 기반을 만들고 후속 학습이 사용 목적을 더 좁힌다는 구분은 이해에 도움이 됩니다.

RAG는 학습 단계 자체가 아니라, 실행할 때 검색한 문서를 프롬프트에 넣는 방식입니다. 새 규정이나 상품 재고처럼 자주 바뀌는 사실을 답해야 한다면, 사전학습 데이터에 의존하기보다 관련 문서를 검색하고 출처를 확인하는 편이 적합할 수 있습니다. 검색 결과가 틀리거나 관련 없는 문서가 섞이면 답도 흔들릴 수 있으므로, RAG 역시 검색 품질과 응답을 함께 평가해야 합니다.

규모보다 데이터 관리

사전학습에는 대량의 데이터와 계산 자원이 필요하지만, 양만 늘린다고 좋은 기반 모델이 보장되지는 않습니다. 중복 문서, 낮은 품질의 텍스트, 편향된 언어 비중, 저작권과 개인정보 문제는 학습 결과와 사용 위험에 영향을 줍니다. 대규모 모델의 훈련 세부 정보가 모두 공개되는 것도 아니어서, 특정 상용 모델이 어떤 문서를 얼마나 학습했는지 단정하기 어렵습니다.

초보자가 실무에서 직접 대규모 사전학습을 할 일은 드뭅니다. 이미 사전학습된 모델을 선택하고, 프롬프트, RAG, 파인튜닝 가운데 실제 문제에 맞는 방법을 평가하는 일이 더 흔합니다. 예를 들어 사내 정책 답변이 자주 바뀐다면 문서를 갱신하는 RAG부터 점검하고, 같은 답변 형식이 반복해서 어긋난다면 파인튜닝을 검토합니다. 사전학습은 그 선택들이 기대는 기반이지만, 최신 정보나 정확성을 보증하지는 않습니다.

사전학습과 후속 학습의 경계를 이해하면 제품 설명도 더 정확해집니다. 모델이 자연스럽게 한국어 문장을 만드는 능력은 넓은 학습 과정의 결과일 수 있지만, 회사의 최신 정책을 안다는 주장은 별도 근거가 필요합니다. 데이터의 출처, 갱신 시점, 검색 여부, 사람의 검토 절차를 나누어 확인해야 합니다. 좋은 기반 모델이라도 특정 업무의 정답률과 안전성은 실제 입력으로 따로 검증해야 합니다.