로컬 AI·클라우드 AI 선택 기준: 데이터·성능·총비용

같은 채팅 화면에서도 모델과 검색 도구는 서로 다른 곳에서 실행됩니다. 자료의 이동 경로, 필요한 품질, 운영에 쓸 시간을 나누어 로컬·클라우드·혼합 방식의 선택 기준을 살펴봅니다.

회사 문서를 AI에 읽히려고 노트북에 앱을 설치해도, 그 문서가 기기 밖으로 나가는지는 별도로 확인할 문제입니다. 로컬 모델 실행 도구인 Ollama도 공식 FAQ에서 로컬 실행과 클라우드 모델 사용을 구분합니다. 설치된 앱의 위치와 실제 계산이 일어나는 위치가 다를 수 있습니다.

선택은 맡길 업무에서 시작합니다. 외부 전송을 허용할 수 없는 자료를 다루는 일, 가끔 공개 글을 요약하는 일, 여러 사람이 동시에 긴 문서를 처리하는 일은 필요한 조건이 다릅니다. 실행 위치는 그 조건을 충족하는 방법 중 하나입니다.

모델과 연결 도구의 데이터 경로를 함께 봅니다

이 글에서 로컬 실행은 모델의 추론 계산을 사용자의 기기나 조직 내부에 둔 서버에서 수행하는 방식입니다. 클라우드 실행은 원격 제공자의 계산 자원을 쓰는 방식입니다. 클라우드 가상 머신에 모델을 직접 설치하는 자기 호스팅은 실행 위치가 클라우드이고 관리 책임은 사용자에게 많이 남는 구성입니다. 실행 위치와 운영 책임은 서로 다른 비교 축입니다.

데이터 경로에는 입력창과 모델 외의 구성 요소가 있습니다. 문서를 텍스트로 바꾸는 변환기, 검색용 표현을 만드는 임베딩 모델, 검색 저장소, 웹 검색 도구, 대화 기록과 백업이 각각 어디서 동작하는지 봅니다. 본문 생성은 기기에서 처리해도 앞 단계의 문서 변환을 외부 API에 맡기면 원본 자료가 그 API로 이동합니다.

2026년 10월 28일 UTC에 확인한 Ollama FAQ의 데이터 처리 설명은 로컬 실행 시 공급자가 프롬프트와 데이터를 보지 않는다고 밝힙니다. 같은 문서에는 클라우드 기능을 끄는 OLLAMA_NO_CLOUD=1 설정도 있습니다. 이는 해당 실행 도구의 설명입니다. 별도로 연결한 검색 도구나 문서 앱의 전송까지 그 설정 하나로 확인한 것은 아닙니다.

다음 표는 구성에 따라 달라지는 데이터 경로와 책임을 비교합니다. 제품별 보안 평가는 포함하지 않습니다. 실제 전송 범위는 선택한 앱의 설정과 서비스 조건으로 확인합니다.

비교 축	로컬 중심	클라우드 중심	혼합 사용
모델 입력의 이동	직접 관리하는 기기·서버로 보냄	서비스 제공자의 처리 지점으로 보냄	작업별로 목적지를 나눔
원본 자료와 중간 결과	외부 도구·백업의 경로도 점검	업로드·보존·삭제 조건을 점검	추출본·요약본의 외부 전송 범위를 별도 점검
인터넷 단절의 영향	필요한 파일과 기능이 안에 있으면 추론 가능	원격 서비스 연결이 필요한 작업이 중단됨	로컬 단계만 계속 가능한지 구분
계산 환경의 관리	장비·실행 도구·모델 파일을 직접 관리	관리형 서비스가 맡는 범위를 계약으로 확인	두 환경과 연결 지점을 모두 관리
용량 부족·장애 대응	기기 자원과 운영자의 대응 범위에 의존	서비스의 한도·가용성과 대체 경로에 의존	전환 조건과 옮길 수 있는 자료를 미리 정함

혼합 구성의 경계는 요약본에서도 다시 확인합니다. 고객 이름을 지운 문서라도 상세한 사건 경위나 고유한 거래 정보가 남을 수 있습니다. 외부 전송 허용 여부는 원본과 중간 결과를 나누어 판단합니다.

오프라인 사용은 준비된 파일과 기능의 범위입니다

인터넷 없이 추론하려면 필요한 모델·토크나이저·설정 파일 등이 미리 있어야 합니다. Hugging Face의 Transformers 설치 문서는 오프라인 환경에서 사용할 파일을 먼저 내려받고, HF_HUB_OFFLINE=1이나 local_files_only=True로 Hub 접근 또는 로컬 파일 사용을 제어하는 방법을 설명합니다. 다운로드가 필요한 초기 준비와 준비 후 실행을 구분합니다.

네트워크를 끊은 뒤 기존 대화 하나가 이어지는지만 보면 점검 범위가 좁습니다. 새 문서를 넣을 때 변환이 되는지, 새 대화를 열 때 필요한 파일이 있는지, 검색 기능이 어떤 오류를 내는지가 각각 다른 확인 항목입니다. 설치 안내에 오프라인 지원이 있어도 실제 업무 경로를 따라 확인한 기록이 필요합니다.

오프라인을 선택하는 목적도 나뉩니다. 이동 중 연결이 불안정해 초안을 쓰려는 경우에는 로컬 생성만으로 충분할 수 있습니다. 외부 시스템의 주문 상태를 실시간 조회하는 업무는 그 시스템에 닿는 연결이 필요합니다. 인터넷 의존성을 줄일 수 있는 구간과 업무 자체가 외부 정보를 요구하는 구간을 구분하면 기대 범위가 명확해집니다.

설치 이후의 운영 시간을 비용에 넣습니다

로컬 환경에는 실행 도구 설치 후에도 할 일이 남습니다. 장비와 드라이버 호환성, 저장 공간, 모델 파일의 출처와 사용 조건, 버전 업데이트, 장애 뒤 복구 방법을 관리합니다. 한 사람이 취미로 쓰는 환경에서는 감당할 수 있는 작업도 여러 직원이 업무에 쓰면 담당자와 지원 시간이 필요해집니다.

클라우드는 구매한 서비스가 어디까지 관리해 주는지에 따라 부담이 달라집니다. 완성된 AI 채팅 서비스를 구독하는 경우와 원격 가상 머신에 모델을 직접 설치하는 경우는 모두 외부 계산 자원을 쓰지만 운영 책임은 다릅니다. 마이크로소프트의 공유 책임 설명은 IaaS·PaaS·SaaS에 따라 관리 범위를 나누며, 고객에게 데이터·계정·접근 관리 책임이 남는다고 설명합니다.

이 원칙을 AI 서비스 선택에 적용하면, 관리형 모델을 써도 누가 파일에 접근하는지와 퇴사자의 계정을 누가 닫는지는 별도 운영 항목입니다. 반대로 직접 관리하는 기기에서는 자료가 저장된 디스크와 백업의 복구를 맡을 담당자가 필요합니다. 서비스 이름보다 실제로 맡겨지는 관리 범위가 운영 계획을 결정합니다.

혼합 사용은 두 환경을 유지하면서 결과를 옮기는 작업까지 생깁니다. 로컬에서 자료를 추출하고 클라우드에서 문장을 다듬는다면, 추출 결과의 형식과 전송 허용 여부를 확인할 지점이 추가됩니다. 이 분리가 필요한 이유가 분명할 때 관리할 가치가 있습니다.

같은 업무의 합격 결과물로 성능과 비용을 비교합니다

모델이 기기에서 실행된다는 사실만으로 원하는 품질이나 처리량을 알 수는 없습니다. Ollama FAQ의 동시 요청 설명은 모델 적재와 병렬 처리에 가용 메모리가 필요하며, 병렬 요청과 문맥 길이에 따라 메모리 사용이 늘어난다고 설명합니다. 짧은 입력 한 건이 성공한 환경을 긴 문서 여러 건의 처리 환경으로 바로 확대하기 어렵습니다.

비교 과제는 실제 업무의 쉬운 입력, 긴 입력, 예외 입력을 함께 포함합니다. 문서 분류라면 정답 분류와 보류 조건을 고정하고, 요약이라면 보존할 숫자·조건·누락 금지 항목을 정합니다. 두 방식에 같은 입력과 합격 기준을 적용한 뒤, 처리 시간과 사람이 고친 부분을 기록합니다. 이 절차는 비교 설계이며 특정 장비나 서비스를 실행한 결과가 아닙니다.

속도도 업무 단위로 구분합니다. 대화 중 답이 시작되기까지 기다리는 시간, 파일 한 묶음의 처리가 끝나는 시간, 여러 사람이 동시에 사용할 때의 대기는 서로 다릅니다. 로컬 환경의 모델 적재 시간이나 클라우드 요청의 통신 시간처럼 어느 구간을 포함했는지도 기록에 남깁니다.

총비용은 같은 비교 기간을 놓고 계산합니다. 로컬은 그 기간에 배분한 장비 구입비, 추가 전력·저장 비용, 설치·관리 시간을 넣습니다. 클라우드는 구독료 또는 사용료, 추가 저장·도구 사용료, 연동 관리 시간을 넣습니다. 두 방식 모두 결과 검토와 재작업에 든 시간을 더합니다. 이미 보유한 기기를 쓰는 경우에는 새로 지출할 비용과 기존 장비의 점유를 따로 적으면 비교가 섞이지 않습니다.

반복 업무에서는 기간 총비용을 합격한 결과물 수로 나눈 값도 유용합니다. 월 비용이 낮아도 사용할 수 있는 결과가 적거나 수정 시간이 길면 업무 비용이 커집니다. 사용량이 달라지는 상황을 비교하려면 낮은 사용량과 높은 사용량을 나누어 계산하며, 모든 항목에 일률적인 인건비나 가동률을 가정하지 않습니다.

전송 허용 범위와 운영 담당자가 선택을 좁힙니다

결정 메모는 다음 순서로 작성할 수 있습니다. 첫째는 외부로 보낼 수 있는 자료의 범위입니다. 원본·추출본·요약본을 구분해 적습니다. 둘째는 허용되는 품질 오류와 필요한 처리량입니다. 셋째는 설치·업데이트·장애를 맡을 사람과 시간입니다. 마지막은 같은 기간의 총비용과 중단 시 대체 절차입니다.

외부 전송을 제한하는 업무는 그 경계를 지키는 로컬 구성부터 검토하고, 필요한 품질을 실제 과제로 확인하는 순서가 맞습니다. 사용량이 적고 환경 관리에 시간을 쓰기 어려운 업무는 관리형 클라우드의 전송 조건과 한도를 먼저 대조할 수 있습니다. 로컬의 품질 한계와 클라우드의 자료 제약이 서로 다른 단계에 걸릴 때는 혼합 구성을 검토합니다.

혼합 구성을 택한다면 외부로 넘어갈 입력을 사람이 확인할 수 있는 단계부터 시작하는 편이 좋습니다. 모델 이름을 바꾸거나 자료 범위를 넓혔을 때에도 같은 비교 과제와 데이터 경로 기록으로 다시 판단할 수 있습니다.

자료 확인 기준: 2026년 10월 28일 UTC. 도구의 설정과 서비스별 처리 조건은 바뀔 수 있습니다.

외부 데이터·도구 연결 구조