Local LLM
Windows 11의 첫 로컬 모델 실행부터 모델 선택·GPU·Python·Node.js·RAG·Hermes·OpenClaw·OpenRouter와 운영까지 이어지는 30편 실습 연재.
-
![[Local LLM 구축하기 04] GPU·CPU와 VRAM, PC 사양 읽는 법](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-045-768x512.jpg)
[Local LLM 구축하기 04] GPU·CPU와 VRAM, PC 사양 읽는 법
로컬 LLM용 PC 사양을 볼 때는 모델이 메모리에 들어가는지부터 확인합니다. GPU가 빨라도 VRAM이 모자라면 일부 가중치를 시스템 RAM으로 옮겨야 해요. 그때 생기는 병목은 게임 성능표만으로 판단하기 어렵습니다.
-
![[Local LLM 구축하기 05] 토큰·컨텍스트·양자화와 메모리 사용량](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-057-768x512.jpg)
[Local LLM 구축하기 05] 토큰·컨텍스트·양자화와 메모리 사용량
긴 대화에서 앞의 내용을 놓쳤다면 실행 문맥부터 살펴보세요. 설정된 한도가 작거나 입력이 잘렸을 수도 있고, 긴 자료 속에서 필요한 내용을 찾지 못했을 수도 있습니다. 토큰과 컨텍스트를 알면 이런 현상을 메모리 사용량과 함께…
-
![[Local LLM 구축하기 06] 모델 저장 위치 옮기기와 오프라인 실행 확인](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-067-768x432.jpg)
[Local LLM 구축하기 06] 모델 저장 위치 옮기기와 오프라인 실행 확인
모델을 몇 개 받다 보면 저장 공간이 생각보다 빨리 줄어들어요. Ollama 프로그램을 설치한 위치와 모델 파일이 쌓이는 위치를 먼저 나눠 보겠습니다. 경로를 알고 있으면 디스크를 옮기거나 PC를 다시 준비할 때도 덜 헷갈립니다.
-
![[Local LLM 구축하기 07] LM Studio에서 GGUF 모델과 API 사용하기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-034-768x509.jpg)
[Local LLM 구축하기 07] LM Studio에서 GGUF 모델과 API 사용하기
모델 파일과 양자화 종류를 화면에서 골라 보고 싶다면 LM Studio를 사용할 수 있어요. Ollama에서 했던 다운로드와 적재, 응답 확인을 다른 화면에서 따라가 보겠습니다. 둘 다 계속 사용할 필요는 없으니 관리 방식의 차이를…
-
![[Local LLM 구축하기 08] Python 설치와 프로젝트별 가상환경 만들기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-103-768x512.jpg)
[Local LLM 구축하기 08] Python 설치와 프로젝트별 가상환경 만들기
패키지는 설치됐다고 나오는데 import가 실패한다면, 실행 중인 Python부터 확인해 보세요. 패키지를 넣은 Python과 코드를 실행한 Python이 서로 다를 수 있습니다. 프로젝트 폴더 안에 가상환경을 만들고 그 경로를 직접 확인해 보겠습니다.
-
![[Local LLM 구축하기 09] Node.js·npm 설치와 실행 경로 확인](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-099-768x512.jpg)
[Local LLM 구축하기 09] Node.js·npm 설치와 실행 경로 확인
Node.js는 JavaScript를 브라우저 밖에서 실행하고, npm은 필요한 패키지를 설치하는 데 사용합니다. 뒤에서 다룰 OpenClaw도 Node로 동작해요. 여기서는 설치를 마친 뒤 실제로 어느 버전과 경로가 사용되는지 확인합니다.
-
![[Local LLM 구축하기 10] WSL2 설치와 파일·네트워크 구분](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-104-768x493.jpg)
[Local LLM 구축하기 10] WSL2 설치와 파일·네트워크 구분
WSL2를 설치하면 Windows PC에서 Linux 도구를 사용할 수 있습니다. 터미널을 오가다 보면 같은 파일이나 localhost를 보고 있다고 생각하기 쉬워요. 파일이 어디에 저장되고 서버가 어느 환경에서 실행되는지부터 나눠 보겠습니다.
-
![[Local LLM 구축하기 11] Docker Desktop과 컨테이너·볼륨·포트](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-121-768x577.jpg)
[Local LLM 구축하기 11] Docker Desktop과 컨테이너·볼륨·포트
Open WebUI 같은 웹 채팅 화면은 Docker 컨테이너로 실행할 수 있습니다. 필요한 프로그램을 묶어 띄울 수 있어 준비가 편해요. 다만 컨테이너를 지웠을 때 대화와 모델이 어디에 남는지는 먼저 알아 두어야 합니다.
-
![[Local LLM 구축하기 12] Open WebUI와 Ollama로 웹 채팅 구성](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-091-768x576.jpg)
[Local LLM 구축하기 12] Open WebUI와 Ollama로 웹 채팅 구성
대화 기록을 보관하고 브라우저에서 모델을 고르고 싶다면 Open WebUI를 붙여 볼 수 있어요. 여기서는 WebUI와 Ollama를 같은 Docker 네트워크에 둡니다. Windows에 먼저 설치한 Ollama와는 별도로 동작하는 실습입니다.