Local LLM 구축하기 · 27/30 · 심화와 운영
모델 파일과 실행 옵션을 직접 지정해 보고 싶다면 llama.cpp를 사용할 수 있습니다. CPU로 실행한 뒤 GPU 적재를 요청하며 로그를 비교해 볼게요. Ollama가 대신 관리하던 부분 중 무엇을 직접 설정하게 되는지도 살펴봅니다.
Windows 사전 빌드와 모델을 저장할 공간을 준비합니다. 예제의 8B를 실행하기 어렵다면 더 작은 지원 GGUF 모델을 선택합니다.
GGUF와 지원 엔진
GGUF에는 가중치와 관련 메타데이터가 들어 있습니다. 파일 형식이 같아도 엔진이 모델 구조와 토크나이저를 지원해야 실행할 수 있습니다. 양자화 형식과 대화 템플릿도 함께 확인합니다.
공식 Releases에서 장비와 드라이버에 맞는 Windows 빌드를 받습니다. CPU·CUDA·Vulkan 등 빌드의 차이를 확인한 뒤 압축을 풉니다. 아래 명령은 llama-cli.exe와 llama-server.exe가 있는 폴더에서 실행합니다.
CPU 실행 옵션
.\llama-cli.exe --help
.\llama-cli.exe -hf Qwen/Qwen3-8B-GGUF:Q4_K_M -c 4096 -n 128 -ngl 0 -p "Explain why backups need a restore test. /no_think"-hf는 저장소에서 양자화 파일을 받아 사용하는 옵션입니다. 첫 실행에는 인터넷과 저장 공간이 필요해요. -c는 문맥, -n은 생성 한도이며 -ngl 0은 GPU 적재 레이어를 0으로 두는 비교 조건입니다. 큰 모델이 부담스러우면 먼저 작은 파일로 확인합니다.
이 모델은 2편의 4B Instruct와 가중치가 다릅니다. 답변 차이를 엔진 차이로만 해석하지 않습니다. 다운로드 경로와 파일 해시, 바이너리 버전을 남겨 같은 조건을 다시 만들 수 있게 합니다.
GPU 적재와 시작 로그
.\llama-cli.exe -hf Qwen/Qwen3-8B-GGUF:Q4_K_M -c 4096 -n 128 -ngl 99 -p "Explain why backups need a restore test. /no_think"-ngl 99는 이 예제에서 많은 레이어의 GPU 적재를 요청하는 값입니다. 실제 적재 수와 사용 장치는 시작 로그에서 확인합니다. VRAM이 늘어나는 옵션은 아니므로 GPU 빌드 여부와 메모리 부족 메시지도 살펴야 합니다.
동일 파일·문맥·입력으로 CPU 경로와 비교하고, 전체 시간과 출력 토큰 수를 남깁니다. 프롬프트 처리가 빨라지는 정도와 순차 출력이 빨라지는 정도가 다를 수 있습니다.
로컬 API 서버
.\llama-server.exe -hf Qwen/Qwen3-8B-GGUF:Q4_K_M --host 127.0.0.1 --port 8081 -c 4096 -ngl 0다른 PowerShell에서 Invoke-RestMethod http://127.0.0.1:8081/v1/models로 모델 ID를 확인합니다. 서버를 실행한 창에서 Ctrl+C로 종료할 수 있습니다. 요청을 보낼 때에는 이 서버의 API 형식을 사용하며 Ollama의 /api/chat 코드를 그대로 보내지 않습니다.
엔진을 직접 실행하면 모델 관리와 서버 시작, 로그, 업데이트도 직접 맡게 됩니다. 설정을 세밀하게 비교하는 데는 편하지만 개인 채팅에서 필요한 편의 기능은 다를 수 있어요. 어떤 작업을 반복할지 기준으로 런타임을 고릅니다.
참고 자료
문서·모델 태그 확인 기준: 2026년 10월 18일. 기본 실습 환경: Windows 11 x64.
답글 남기기