[Local LLM 구축하기 01] 로컬 LLM을 시작하기 전에 확인할 것들

Local LLM 구축하기 · 01/30 · 입문

전체 연재와 학습 순서 · 실습 코드 ZIP

로컬 LLM을 시작할 때는 지금 쓰는 PC에서 작은 모델 하나를 실행해 보는 것으로 충분해요. 짧은 메모를 넣고, 그 내용을 제대로 요약하는지 살펴보면 됩니다. 이 연재는 그 첫 실행에서 출발해 문서 검색과 운영까지 이어집니다.

Windows 11 PC를 준비하고, 메모리와 그래픽카드 사양을 적어 둡니다. 아직 새 장비를 구입하거나 개발 도구를 설치할 필요는 없습니다.

모델·런타임·화면의 역할

구성을 세 부분으로 나누면 이해하기 편합니다. LLM은 앞의 문맥을 바탕으로 다음 토큰의 확률을 계산하는 모델이고, Ollama나 llama.cpp는 그 모델을 실행하는 런타임입니다. 채팅창은 런타임에 요청을 보내고 답을 보여 주는 화면이에요. 모델 파일을 받는 일과 채팅 화면을 설치하는 일이 서로 다른 이유도 여기에 있습니다.

부품	이 연재의 예	바꿀 때 달라지는 것
모델 가중치	Qwen·Gemma·Hermes	언어 능력, 크기, 이용 조건
추론 런타임	Ollama·llama.cpp	하드웨어 지원, API, 실행 옵션
사용 화면	기본 앱·LM Studio·Open WebUI	대화 관리와 접근 방식
에이전트	Hermes Agent·OpenClaw	도구 사용, 기억, 작업 실행

앱을 어디에 설치했는지와 계산이 어디서 이루어지는지는 따로 확인해야 합니다. PC에 설치한 앱도 외부 API로 요청을 보낼 수 있고, 브라우저 화면도 같은 PC의 모델 서버에 접속할 수 있어요. 모델 이름과 함께 서버 주소, 웹 검색이나 외부 도구의 사용 여부를 살펴봅니다.

PC 사양 확인

시작 메뉴에서 PowerShell을 열어 아래 명령을 한 줄씩 실행합니다. 첫 명령으로 설치된 RAM을 확인하고, 두 번째 명령으로 그래픽 장치 이름을 확인합니다. VRAM 용량은 작업 관리자 → 성능 → GPU의 전용 GPU 메모리에서 읽습니다. 오래된 WMI의 AdapterRAM 값은 이 용도로 정확하지 않을 수 있습니다.

Get-CimInstance Win32_ComputerSystem | Select-Object Manufacturer, Model, @{Name="RAM_GiB";Expression={[math]::Round($_.TotalPhysicalMemory / 1GB, 1)}}
Get-CimInstance Win32_VideoController | Select-Object Name, DriverVersion
Get-PSDrive -PSProvider FileSystem

GPU가 없는 PC에서도 작은 양자화 모델을 실행해 볼 수 있습니다. 이 연재는 16GB RAM을 입문용 출발점으로 삼지만, 모델마다 필요한 메모리는 달라요. 8GB 장비에서는 다른 앱을 닫고, 더 작은 모델과 짧은 문맥으로 시작하는 편이 수월합니다.

가상 메모로 해 볼 첫 작업

첫 입력으로는 가상의 서버 점검 메모를 사용합니다. 실제 업무 문서나 비밀번호를 준비하지 않아도 됩니다. 메모와 질문을 그대로 저장해 두세요. 나중에 모델을 바꿨을 때 답변을 비교하는 데 쓸 수 있습니다.

서버 점검 메모: 백업은 매일 02시에 실행한다.
실패 알림은 관리자가 확인한다. 보관 기간은 14일이다.
위 메모를 넘겨짚지 말고 두 문장으로 요약해 줘.

답이 매끄럽게 읽혀도 원문과 대조하는 과정은 필요합니다. 원문에 없는 “클라우드 백업”을 덧붙였다면 요약을 잘했다고 보기 어렵겠지요. 우선 확인할 것은 문장의 멋보다 사실의 보존입니다. 같은 기준을 18편의 평가표와 마지막 프로젝트에서도 사용합니다.

30편의 학습 순서

1~7편에서는 설치와 모델 선택을 다루고, 8~12편에서 Python·Node.js·WSL·Docker를 준비합니다. 13~18편은 API 호출, 문서 검색, 품질 평가로 이어집니다. Hermes·OpenClaw·OpenRouter는 19~25편에서 살펴보고, 마지막 다섯 편에서는 성능과 추론 엔진, 미세조정, 보안, 운영을 다룹니다.

여기서는 PC 사양과 모델에 맡길 작업 한 가지를 적어 두면 됩니다. 다음 글에서 모델을 실행한 뒤 같은 입력을 다시 써 보세요. 속도와 메모리를 기록할 때에는 문맥 길이와 함께 실행 중이던 앱도 남겨 두면 비교가 쉬워집니다.

참고 자료

• Ollama 시작 안내
• Ollama 로컬·클라우드 FAQ

문서·모델 태그 확인 기준: 2026년 10월 18일. 기본 실습 환경: Windows 11 x64.

---