Local LLM 구축하기 · 06/30 · 기초
모델을 몇 개 받다 보면 저장 공간이 생각보다 빨리 줄어들어요. Ollama 프로그램을 설치한 위치와 모델 파일이 쌓이는 위치를 먼저 나눠 보겠습니다. 경로를 알고 있으면 디스크를 옮기거나 PC를 다시 준비할 때도 덜 헷갈립니다.
Ollama와 모델을 옮길 저장 공간을 준비합니다. 경로를 바꾸기 전에는 현재 모델 목록과 저장 위치를 적어 둡니다.
저장된 모델과 적재된 모델
ollama list
ollama ps
ollama stop qwen3:4b-instructstop을 실행하면 모델이 메모리에서 내려갑니다. 디스크 공간을 정리하려면 ollama rm 모델이름을 사용합니다. 지운 모델은 다시 내려받아야 할 수 있어요. 또 여러 모델이 같은 blob을 공유하기 때문에 목록에 나온 크기를 더한 값이 실제 디스크 점유량과 꼭 같지는 않습니다.
blobs 폴더에서 큰 파일을 골라 지우면 매니페스트가 가리키는 파일이 사라질 수 있습니다. 모델 정리는 CLI로 진행합니다. 폴더 안의 파일은 저장 위치를 확인하거나 백업할 때 살펴보는 편이 안전합니다.
D 드라이브로 저장 위치 변경
아래 예제는 D 드라이브가 존재하고 쓰기 가능한 경우입니다. 다른 드라이브를 쓴다면 경로를 바꿉니다. 이 단계는 저장 위치를 지정하는 것이며 기존 모델을 자동으로 옮기지는 않습니다.
New-Item -ItemType Directory -Force D:\AI\OllamaModels
[Environment]::SetEnvironmentVariable("OLLAMA_MODELS", "D:\AI\OllamaModels", "User")트레이의 Ollama를 완전히 종료했다가 시작 메뉴에서 다시 실행합니다. 새 PowerShell에서 목록이 비어 보인다면 새 저장소를 읽고 있는지 확인하세요. 필요한 모델만 새 위치에 다시 pull하는 방법이 가장 단순합니다. 다운로드 시간과 용량을 확인한 뒤 이전 저장소의 정리 여부를 결정합니다.
기존 모델이 많다면 앱을 종료하고 저장 폴더 전체를 복사하는 방법도 있습니다. 일부 blob만 골라 옮기지는 않습니다. 원래 경로와 폴더를 보관한 채 새 경로를 적용하고, 목록과 실제 답변이 모두 확인된 뒤 이전 사본을 정리합니다.
네트워크를 끊고 추론 확인
다운로드를 마친 모델로 네트워크를 끊고 같은 텍스트 질문을 다시 실행해 봅니다. 이름에 :cloud가 붙은 선택지는 이번 오프라인 확인 대상에서 제외합니다. 웹 검색이나 외부 임베딩, 원격 도구, 업데이트 확인은 모델 추론과 별개로 네트워크를 사용할 수 있습니다.
ollama run qwen3:4b-instruct "물의 끓는점을 설명하되 고도에 따른 차이도 짧게 알려 줘."이 확인으로 알 수 있는 범위는 해당 요청이 외부 추론 서버 없이 처리됐다는 점까지입니다. 앱의 다른 기능이 언제나 통신하지 않는다는 뜻으로 넓혀 해석하지 않습니다. 반출 통제가 필요한 환경에서는 방화벽 정책과 연결 기록도 함께 검토합니다.
파일과 실행 조건 보관
ollama --version | Out-File -Encoding utf8 .\ollama-version.txt
ollama list | Out-File -Encoding utf8 .\models.txt
ollama show qwen3:4b-instruct | Out-File -Encoding utf8 .\model-info.txt같은 모델 태그도 나중에 다른 내용으로 갱신될 수 있어요. 모델 ID, 크기, 다운로드 날짜와 함께 문맥 설정과 질문을 남겨 둡니다. 파일을 다른 사람에게 전달할 때는 해당 모델의 재배포 조건도 확인합니다.
복구할 때에는 모델 파일 외에 시스템 프롬프트, RAG 원문, 인덱스 생성 조건과 평가표도 필요합니다. 용량이 부담스럽다면 모델은 다시 내려받고 작은 설정과 원문을 먼저 백업할 수도 있어요. 마지막 글에서 이 항목을 운영 기록으로 정리합니다.
참고 자료
문서·모델 태그 확인 기준: 2026년 10월 18일. 기본 실습 환경: Windows 11 x64.
답글 남기기