연재 모아보기
최근 글
주제별 목록에서도 필요한 글을 찾을 수 있습니다.
-
![[Local LLM 구축하기 10] WSL2 설치와 파일·네트워크 구분](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-104-768x493.jpg)
[Local LLM 구축하기 10] WSL2 설치와 파일·네트워크 구분
WSL2를 설치하면 Windows PC에서 Linux 도구를 사용할 수 있습니다. 터미널을 오가다 보면 같은 파일이나 localhost를 보고 있다고 생각하기 쉬워요. 파일이 어디에 저장되고 서버가 어느 환경에서 실행되는지부터 나눠 보겠습니다.
-
![[Local LLM 구축하기 11] Docker Desktop과 컨테이너·볼륨·포트](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-121-768x577.jpg)
[Local LLM 구축하기 11] Docker Desktop과 컨테이너·볼륨·포트
Open WebUI 같은 웹 채팅 화면은 Docker 컨테이너로 실행할 수 있습니다. 필요한 프로그램을 묶어 띄울 수 있어 준비가 편해요. 다만 컨테이너를 지웠을 때 대화와 모델이 어디에 남는지는 먼저 알아 두어야 합니다.
-
![[Local LLM 구축하기 12] Open WebUI와 Ollama로 웹 채팅 구성](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-091-768x576.jpg)
[Local LLM 구축하기 12] Open WebUI와 Ollama로 웹 채팅 구성
대화 기록을 보관하고 브라우저에서 모델을 고르고 싶다면 Open WebUI를 붙여 볼 수 있어요. 여기서는 WebUI와 Ollama를 같은 Docker 네트워크에 둡니다. Windows에 먼저 설치한 Ollama와는 별도로 동작하는 실습입니다.
-
![[Local LLM 구축하기 13] Python으로 Ollama API 호출하기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-030-768x512.jpg)
[Local LLM 구축하기 13] Python으로 Ollama API 호출하기
채팅창에서 하던 질문을 Python 코드에서도 보낼 수 있습니다. 파일 요약이나 점검 메모 정리를 자동화할 때 필요한 출발점이에요. 요청을 JSON으로 보내고 응답에서 문장을 꺼내는 과정을 작은 함수로 만들어 보겠습니다.
-
![[Local LLM 구축하기 14] 원문과 조건을 분명하게 전달하는 프롬프트](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-098-768x512.jpg)
[Local LLM 구축하기 14] 원문과 조건을 분명하게 전달하는 프롬프트
요약을 부탁할 때에는 원문과 필요한 항목을 함께 주는 편이 결과를 확인하기 쉬워요. 담당자를 찾지 못했을 때 어떻게 표시할지, 답변은 어느 길이로 받을지도 적어 둡니다. 같은 메모에 지시를 조금씩 바꿔 넣으며 결과를 비교해…
-
![[Local LLM 구축하기 15] JSON Schema와 응답 검증](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-100-768x512.jpg)
[Local LLM 구축하기 15] JSON Schema와 응답 검증
답변을 다음 프로그램에 넘기려면 사람이 읽기 좋은 문장만으로는 부족합니다. JSON 앞에 인사말이 붙어도 파서는 멈출 수 있어요. 형식을 지켰는지와 안에 담긴 값이 맞는지를 나눠 확인해 보겠습니다.
-
![[Local LLM 구축하기 16] 임베딩과 코사인 유사도로 문서 검색하기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-096-768x512.jpg)
[Local LLM 구축하기 16] 임베딩과 코사인 유사도로 문서 검색하기
“백업을 며칠 남기지?”라고 물었는데 문서에는 “보관 기간”이라고 적혀 있을 수 있어요. 이런 표현 차이를 다루는 방법 중 하나가 임베딩 검색입니다. 문장을 벡터로 바꿔 가까운 문서 조각을 찾고, 답변 생성 전에 검색 결과부터…
-
![[Local LLM 구축하기 17] 검색한 문서로 답하는 RAG 구성](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-090-768x515.jpg)
[Local LLM 구축하기 17] 검색한 문서로 답하는 RAG 구성
앞에서 찾은 문서 조각을 대화 모델에 함께 보내면, 그 자료를 참고해 답하도록 만들 수 있습니다. 이 방식이 RAG예요. 문서를 모델의 가중치에 새로 학습시키는 과정 없이, 질문할 때 필요한 근거를 찾아 넣습니다.
-
![[Local LLM 구축하기 18] 모델과 RAG를 비교할 평가표 만들기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-114-768x512.jpg)
[Local LLM 구축하기 18] 모델과 RAG를 비교할 평가표 만들기
모델을 비교할 질문을 미리 남겨 두면 교체나 업데이트 뒤에도 판단하기 편합니다. 잘 답했던 질문뿐 아니라 틀렸던 질문, 문서에 답이 없는 질문도 모아 보세요. 작은 평가표부터 만들어 검색과 답변을 따로 확인하겠습니다.
마루옵스의 기록
한 줄의 로그도,
그냥 지나치지 않도록.
처음 설치할 때의 설정부터 운영 중 마주치는 문제까지.
다음에 다시 찾을 수 있도록, 확인할 값과 과정을 함께 적습니다.