입문·모델 선택
-
토크나이저 사용하기: 한글·영문 토큰 ID와 벡터 직접 확인하기
한글과 영문을 직접 입력해 토큰 조각과 ID를 확인합니다. 선택한 토큰의 384차원 문맥 벡터를 브라우저에서 계산하고, 토큰 ID와 임베딩의 차이를 살펴봅니다.
-
리눅스에서 Ollama 모델 실행하기: 설치부터 로컬 API까지
Ubuntu·Rocky Linux에서 Ollama를 설치하고 Qwen3 모델을 실행합니다. CPU·GPU 사용 상태, 로컬 API 호출, 모델 관리와 서비스·메모리 오류 확인 방법을 정리했습니다.
-
![[Local LLM 구축하기 01] 로컬 LLM을 시작하기 전에 확인할 것들](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-095-768x512.jpg)
[Local LLM 구축하기 01] 로컬 LLM을 시작하기 전에 확인할 것들
로컬 LLM을 시작할 때는 지금 쓰는 PC에서 작은 모델 하나를 실행해 보는 것으로 충분해요. 짧은 메모를 넣고, 그 내용을 제대로 요약하는지 살펴보면 됩니다. 이 연재는 그 첫 실행에서 출발해 문서 검색과 운영까지…
-
![[Local LLM 구축하기 02] Windows 11에 Ollama 설치하고 첫 답변 받기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-027-768x512.jpg)
[Local LLM 구축하기 02] Windows 11에 Ollama 설치하고 첫 답변 받기
Windows에서 첫 답변을 받아 보는 데 필요한 것은 Ollama와 작은 대화 모델 하나예요. Python이나 Docker는 뒤에서 사용할 때 설치합니다. 먼저 다운로드, 실행, 응답 확인까지 짧게 이어 보겠습니다.
-
![[Local LLM 구축하기 03] 내 PC에서 쓸 모델 고르기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-093-768x509.jpg)
[Local LLM 구축하기 03] 내 PC에서 쓸 모델 고르기
모델을 고를 때는 먼저 맡길 일을 하나 정해 두는 게 좋아요. 한국어 메모 요약과 코드 수정, 사진 설명은 요구하는 능력이 다릅니다. PC에서 실행할 수 있는 크기의 후보를 추린 뒤, 실제로 쓸 질문을…
-
![[Local LLM 구축하기 04] GPU·CPU와 VRAM, PC 사양 읽는 법](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-045-768x512.jpg)
[Local LLM 구축하기 04] GPU·CPU와 VRAM, PC 사양 읽는 법
로컬 LLM용 PC 사양을 볼 때는 모델이 메모리에 들어가는지부터 확인합니다. GPU가 빨라도 VRAM이 모자라면 일부 가중치를 시스템 RAM으로 옮겨야 해요. 그때 생기는 병목은 게임 성능표만으로 판단하기 어렵습니다.
-
![[Local LLM 구축하기 05] 토큰·컨텍스트·양자화와 메모리 사용량](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-057-768x512.jpg)
[Local LLM 구축하기 05] 토큰·컨텍스트·양자화와 메모리 사용량
긴 대화에서 앞의 내용을 놓쳤다면 실행 문맥부터 살펴보세요. 설정된 한도가 작거나 입력이 잘렸을 수도 있고, 긴 자료 속에서 필요한 내용을 찾지 못했을 수도 있습니다. 토큰과 컨텍스트를 알면 이런 현상을 메모리 사용량과 함께…
-
![[Local LLM 구축하기 06] 모델 저장 위치 옮기기와 오프라인 실행 확인](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-067-768x432.jpg)
[Local LLM 구축하기 06] 모델 저장 위치 옮기기와 오프라인 실행 확인
모델을 몇 개 받다 보면 저장 공간이 생각보다 빨리 줄어들어요. Ollama 프로그램을 설치한 위치와 모델 파일이 쌓이는 위치를 먼저 나눠 보겠습니다. 경로를 알고 있으면 디스크를 옮기거나 PC를 다시 준비할 때도 덜 헷갈립니다.
-
![[Local LLM 구축하기 07] LM Studio에서 GGUF 모델과 API 사용하기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-034-768x509.jpg)
[Local LLM 구축하기 07] LM Studio에서 GGUF 모델과 API 사용하기
모델 파일과 양자화 종류를 화면에서 골라 보고 싶다면 LM Studio를 사용할 수 있어요. Ollama에서 했던 다운로드와 적재, 응답 확인을 다른 화면에서 따라가 보겠습니다. 둘 다 계속 사용할 필요는 없으니 관리 방식의 차이를…