[Local LLM 구축하기 02] Windows 11에 Ollama 설치하고 첫 답변 받기

Local LLM 구축하기 · 02/30 · 입문

전체 연재와 학습 순서 · 실습 코드 ZIP

Windows에서 첫 답변을 받아 보는 데 필요한 것은 Ollama와 작은 대화 모델 하나예요. Python이나 Docker는 뒤에서 사용할 때 설치합니다. 먼저 다운로드, 실행, 응답 확인까지 짧게 이어 보겠습니다.

1편에서 적은 PC 사양을 확인하고 모델을 저장할 공간을 마련합니다. 설치 파일과 모델을 내려받는 동안에는 인터넷 연결이 필요합니다.

Windows용 Ollama 설치

Ollama Windows 다운로드에서 설치 파일을 받습니다. 도메인과 게시자를 확인한 뒤 설치하고, 시작 메뉴에서 Ollama를 실행합니다. PowerShell도 새 창으로 여세요. 이미 열려 있던 터미널에는 바뀐 PATH가 반영되지 않을 수 있습니다.

ollama --version
Get-Command ollama
Invoke-RestMethod http://127.0.0.1:11434/api/version

마지막 명령의 응답에 version 항목이 있으면 서버가 요청을 받고 있는 상태입니다. 명령을 찾을 수 없다는 메시지가 나오면 새 터미널에서 설치 경로를 확인합니다. 연결이 거부되면 Ollama 앱이 실행 중인지 먼저 살펴보세요. 트레이 앱이 이미 떠 있는데 ollama serve를 또 실행하면 같은 포트를 사용하려다 충돌할 수 있습니다.

첫 모델 다운로드와 실행

예제에서는 qwen3:4b-instruct를 사용합니다. 다운로드와 메모리 부담이 비교적 작고, 일반 응답을 위한 변형이라 첫 실습에 쓰기 편합니다. 이 모델을 성능 순위로 고른 것은 아니에요. 다른 후보와의 비교는 3편과 18편에서 같은 질문을 넣어 진행합니다.

ollama pull qwen3:4b-instruct
ollama run qwen3:4b-instruct

프롬프트가 나타나면 앞에서 준비한 가상 점검 메모를 붙여 넣습니다. 첫 답변은 모델을 메모리에 올리느라 조금 더 걸릴 수 있어요. 종료할 때에는 /bye를 입력합니다. 모델 다운로드를 마친 뒤에는 로컬 모델의 일반 추론을 네트워크 없이 실행할 수 있습니다.

디스크 목록과 실행 목록

ollama list
ollama show qwen3:4b-instruct
ollama ps

list에는 디스크에 저장된 모델이, ps에는 현재 메모리에 올라간 모델이 나옵니다. 실행 목록의 PROCESSOR와 CONTEXT를 기록해 둡니다. 이 출력으로 GPU 사용 여부와 실행 문맥을 확인할 수 있어요. 대화를 멈춘 뒤 목록이 비었다면 상주 시간이 지나 모델이 내려갔을 가능성도 있습니다.

파일 크기와 실행 중 메모리 사용량은 다릅니다. 다운로드가 2.5GB여도 문맥 캐시와 버퍼, Windows가 사용할 공간이 더 필요해요. 답변을 받는 동안 디스크 사용량이 치솟고 PC 전체가 느려진다면, RAM 부족으로 페이지 파일을 쓰는지도 확인합니다.

설치 오류 확인

증상	먼저 확인	다음 조치
ollama를 찾지 못함	Get-Command ollama	새 터미널·설치 완료 여부 확인
11434 연결 거부	트레이 앱 실행 여부	앱 시작 후 version API 재확인
모델을 찾지 못함	태그 철자·ollama list	공식 태그 페이지 확인 후 pull
응답은 오지만 매우 느림	ollama ps·RAM 사용량	더 작은 모델·짧은 문맥으로 비교

문제가 생겼을 때 백신과 방화벽부터 끄지는 않습니다. 버전 요청에 응답하는지, 모델 다운로드가 끝났는지, 같은 입력에 답을 주는지 나눠 확인합니다. 이 세 가지를 구분해 두면 설치 단계와 추론 단계 중 어디에서 막혔는지 찾기 편합니다.

참고 자료

• Windows 설치·로그 위치
• Qwen3 공식 배포 태그
• Ollama CLI

문서·모델 태그 확인 기준: 2026년 10월 18일. 기본 실습 환경: Windows 11 x64.

---