Local LLM 구축하기 · 03/30 · 입문
모델을 고를 때는 먼저 맡길 일을 하나 정해 두는 게 좋아요. 한국어 메모 요약과 코드 수정, 사진 설명은 요구하는 능력이 다릅니다. PC에서 실행할 수 있는 크기의 후보를 추린 뒤, 실제로 쓸 질문을 넣어 비교합니다.
2편의 모델을 실행할 수 있는 상태에서 시작합니다. 비교할 후보 두 개와, 두 모델에 똑같이 넣을 질문을 준비해 둡니다.
비교할 모델 후보
| 용도 | 출발 후보 | 선정 이유와 한계 |
|---|---|---|
| 일반 한국어·요약 | qwen3:4b-instruct | 작은 크기의 대화 기준 모델. 전문 사실은 별도 검증 |
| 조금 더 큰 비교 대상 | qwen3:8b | 같은 계열의 크기 비교. thinking 설정 차이도 기록 |
| 이미지 설명 | gemma3:4b | 텍스트·이미지 실습 후보. 1b와 기능을 혼동하지 않기 |
| 코드 전용 비교 | qwen2.5-coder:7b | 코드 중심 계열. 실행 테스트 없는 답을 신뢰하지 않기 |
| 대화 성향 비교 | hermes3:8b | Hermes 3 계열의 대화·지시 이행을 비교 |
| 문서 검색 벡터 | embeddinggemma:300m | 답변 생성용이 아니라 임베딩용 |
위 표는 공식 배포 태그를 확인할 수 있는 실습용 후보입니다. 모델 전체의 성능 순위로 읽기보다는 비교를 시작할 목록으로 보시면 됩니다. Qwen이나 Gemma의 다른 계열을 고르더라도 아래의 확인 순서는 그대로 사용할 수 있습니다.
모델 이름과 파일 형식
모델 이름에는 서로 다른 정보가 섞여 있습니다. 7B·8B의 B는 십억 단위 파라미터 수를 뜻하고, Instruct·Chat은 지시나 대화에 맞춘 변형을 가리킵니다. Base는 추가 학습의 출발점인 경우가 많아서 첫 대화용으로는 Instruct 계열이 편해요. GGUF는 파일 형식, Q4_K_M은 양자화 방식에 관한 표기입니다.
MoE는 토큰을 처리할 때 전문가 중 일부를 사용합니다. 계산에 참여하는 파라미터가 줄어도 저장해야 할 전체 가중치가 그만큼 줄어드는 것은 아닙니다. 활성 파라미터가 3B라는 설명만 보고 3B 모델과 같은 메모리로 실행할 수 있다고 계산하지 않도록 주의합니다.
같은 질문으로 결과 비교
ollama pull qwen2.5-coder:7b
ollama show qwen2.5-coder:7b
ollama run qwen2.5-coder:7b코드 모델을 비교한다면 답변에 나온 수정안을 실제로 실행해 봅니다. 예를 들어 빈 목록에서 실패하는 Python 함수를 제시하고, 빈 목록·한 항목·여러 항목의 테스트를 통과하는지 확인하는 식이에요. 설명을 잘하는지와 코드를 고쳤는지를 따로 볼 수 있습니다.
문서 요약에서는 원문에 없던 숫자가 생기는지, 고유명사와 높임말이 유지되는지 살펴봅니다. 처음에는 시스템 프롬프트까지 같은 입력을 사용하세요. 모델마다 지시를 바꾸면 무엇 때문에 결과가 달라졌는지 구분하기 어려워집니다.
다운로드 전 용량·라이선스 확인
다운로드 전에는 모델 카드에서 기반 모델, 지원 언어, 이용 조건, 문맥 길이와 알려진 한계를 확인합니다. 오픈 웨이트 모델도 상업적 사용 조건은 각각 다를 수 있습니다. Gemma·Llama의 변형을 고를 때에도 변형 모델의 안내와 기반 모델의 조건을 함께 읽습니다.
- 태그와 다운로드 크기를 기록하고 latest만 적어 두지 않습니다.
- 작은 모델의 합격 기준을 정한 뒤 더 큰 모델을 받습니다.
- 이미지·도구 호출·JSON 지원은 기능별로 따로 시험합니다.
- 모델 파일의 크기와 실행 메모리를 구분합니다.
작은 모델로도 노트북에서 짧은 요약을 만드는 데 충분할 수 있어요. 다만 파일 여러 개와 도구를 오가는 에이전트 작업은 별도로 확인해야 합니다. 우선 한 가지 작업의 결과를 비교하고, 맡기는 범위를 조금씩 넓힙니다.
참고 자료
문서·모델 태그 확인 기준: 2026년 10월 18일. 기본 실습 환경: Windows 11 x64.
.jpg){kind=link}
답글 남기기