Local LLM 구축하기 · 07/30 · 입문
모델 파일과 양자화 종류를 화면에서 골라 보고 싶다면 LM Studio를 사용할 수 있어요. Ollama에서 했던 다운로드와 적재, 응답 확인을 다른 화면에서 따라가 보겠습니다. 둘 다 계속 사용할 필요는 없으니 관리 방식의 차이를 살펴보고 편한 쪽을 고르면 됩니다.
Windows용 LM Studio와 모델을 저장할 공간을 준비합니다. 채팅 화면을 여는 것과 API 서버를 켜는 것을 구분해서 진행합니다.
GGUF 파일 선택
LM Studio 공식 사이트에서 Windows 버전을 설치합니다. Discover에서 모델 이름이나 Hugging Face 저장소 주소를 검색하세요. Qwen/Qwen3-8B-GGUF는 Qwen 조직이 배포하는 GGUF 저장소의 예입니다. 8B가 메모리에 부담스럽다면 더 작은 공식 모델부터 찾아봅니다.
검색 결과에는 커뮤니티에서 양자화한 파일도 함께 나옵니다. 원본 개발자와 기반 모델, 양자화 작성자를 구분해 적어 두면 나중에 같은 파일을 찾기 편해요. 처음에는 메모리에 들어갈 4비트 이상 파일을 검토하되, 앱의 적합성 안내만으로 실행을 보장받는 것은 아닙니다.
모델 적재와 문맥 설정
다운로드한 모델을 Chat에서 선택하고 context length를 우선 4096 정도로 제한합니다. Ollama 모델이 같은 GPU에 올라가 있다면 먼저 내려 두세요. 두 모델이 VRAM을 나눠 쓰다 적재에 실패할 수 있습니다. Qwen3 기본 모델에서 별도 thinking 출력이 나오면 비교 기록에도 남깁니다.
ollama ps
ollama stop qwen3:4b-instruct1편의 메모를 넣고 답변을 보관합니다. 다만 Ollama의 4B Instruct와 LM Studio의 8B 기본 모델을 썼다면 모델 자체도 달라진 비교입니다. 런타임의 차이를 보려면 가중치와 양자화, 프롬프트 템플릿, 샘플링 설정을 맞춰야 합니다.
로컬 API 서버 시작
API를 사용하려면 Developer 화면에서 서버를 시작합니다. 화면에 나온 실제 주소와 포트를 읽으세요. 아래 명령은 기본 포트 1234를 사용한 예입니다. 토큰 인증을 켰다면 요청에 인증 헤더도 넣어야 합니다.
Invoke-RestMethod http://127.0.0.1:1234/v1/models응답의 data 아래에 나온 id가 API용 모델 식별자입니다. 앱의 표시 이름이나 Ollama 태그와 같다고 가정하지 않습니다. 13편의 Ollama 예제는 11434 포트의 /api/chat을 사용하므로, 가져다 쓸 때에는 주소뿐 아니라 JSON 형식도 맞춰야 합니다.
같은 PC에서만 실습할 때는 서버가 외부 네트워크에 공개되도록 설정할 이유가 없습니다. 휴대전화에서 접속하는 일은 별도의 인증과 네트워크 설계가 필요한 다음 단계입니다.
다운로드·적재·서버 오류 구분
| 상태 | 판단 기준 |
|---|---|
| 모델 다운로드 완료 | My Models에 파일이 존재 |
| 메모리 적재 완료 | 선택한 모델로 채팅 응답 가능 |
| API 서버 실행 | /v1/models에 정상 응답 |
| API 추론 성공 | 선택한 id로 chat 요청의 답변 수신 |
다운로드, 모델 적재, 서버 시작을 각각 확인해 두면 오류를 찾기 쉽습니다. 파일을 다 받아도 RAM·VRAM이 부족하면 적재는 실패할 수 있고, 서버를 켜도 자동 적재 설정에 따라 채팅이 안 될 수 있어요. Ollama와는 관리 구조가 다르니 두 모델 저장소를 억지로 합치지 않아도 됩니다.
참고 자료
문서·모델 태그 확인 기준: 2026년 10월 18일. 기본 실습 환경: Windows 11 x64.
.jpg){kind=link}
답글 남기기