연재 모아보기
최근 글
주제별 목록에서도 필요한 글을 찾을 수 있습니다.
-
![[Local LLM 구축하기 19] Hermes 모델과 대화 템플릿](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-097-768x512.jpg)
[Local LLM 구축하기 19] Hermes 모델과 대화 템플릿
Hermes라는 이름으로 모델과 에이전트 프로그램을 모두 접하게 됩니다. 먼저 구분해 두면 설치 안내를 읽기 편해요. 이 글에서는 Nous Research의 대화 모델을 다루고, 다음 글에서 Hermes Agent를 연결합니다.
-
![[Local LLM 구축하기 20] Hermes Agent 연결과 도구·기억 설정](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-109-768x512.jpg)
[Local LLM 구축하기 20] Hermes Agent 연결과 도구·기억 설정
에이전트는 모델의 답을 바탕으로 도구를 실행하고 그 결과를 다시 모델에 전달합니다. 반복 작업을 줄이는 데 쓸 수 있지만 접근할 자료와 도구를 먼저 정해야 해요. Hermes Agent를 로컬 모델에 연결하되 읽기와 실행 범위를…
-
![[Local LLM 구축하기 21] 재고 조회 도구로 에이전트 루프 만들기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-101-768x512.jpg)
[Local LLM 구축하기 21] 재고 조회 도구로 에이전트 루프 만들기
도구 하나를 직접 연결해 보면 에이전트가 어디까지 결정하고 어디부터 프로그램이 맡는지 보입니다. 여기서는 가상의 장비 재고를 조회하게 해 볼게요. 파일 수정이나 셸 실행 없이 요청, 인수 검사, 결과 반환의 흐름을 확인합니다.
-
![[Local LLM 구축하기 22] OpenClaw 설치와 Gateway 확인](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-108-768x512.jpg)
[Local LLM 구축하기 22] OpenClaw 설치와 Gateway 확인
OpenClaw는 대화 화면과 모델 제공자, 도구, 메신저를 연결하는 프로그램입니다. 모델 추론을 맡는 Ollama와 따로 동작해요. 설치 뒤에는 CLI 실행, Gateway 시작, 모델 응답을 순서대로 확인합니다.
-
![[Local LLM 구축하기 23] OpenClaw의 Ollama 주소와 도구 호출 점검](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-012-768x512.jpg)
[Local LLM 구축하기 23] OpenClaw의 Ollama 주소와 도구 호출 점검
채팅은 되는데 도구 호출이 안 된다면 제공자 설정과 API 경로부터 확인해 보세요. 현재 OpenClaw의 Ollama 제공자는 네이티브 API를 사용합니다. Hermes에서 썼던 주소를 그대로 복사하면 경로가 맞지 않을 수 있습니다.
-
![[Local LLM 구축하기 24] OpenRouter API와 요금·전송 경로 확인](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-002-768x576.jpg)
[Local LLM 구축하기 24] OpenRouter API와 요금·전송 경로 확인
OpenRouter를 사용하면 여러 외부 모델 제공자에 공통 API로 요청할 수 있습니다. 모델은 외부에서 실행되므로 자료가 어디로 가는지와 요금을 함께 확인해야 해요. 가상의 질문으로 호출 과정을 살펴보겠습니다.
-
![[Local LLM 구축하기 25] 로컬·클라우드 요청을 나누는 기준](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-111-768x511.jpg)
[Local LLM 구축하기 25] 로컬·클라우드 요청을 나누는 기준
로컬 모델을 기본으로 쓰면서 일부 질문만 외부 모델에 보낼 수 있습니다. 이때는 사용자가 전송 대상을 확인할 수 있어야 해요. 로컬 실행이 실패해도 자동으로 클라우드에 넘기지 않는 분기를 만들어 보겠습니다.
-
![[Local LLM 구축하기 26] 적재 시간·첫 응답·생성 속도 따로 측정하기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-066-768x432.jpg)
[Local LLM 구축하기 26] 적재 시간·첫 응답·생성 속도 따로 측정하기
응답이 느릴 때는 어느 구간에서 기다리는지부터 나눠 보면 좋아요. 모델 파일을 읽는 시간, 입력을 처리하는 시간, 답변을 한 토큰씩 만드는 시간은 원인이 다릅니다. 같은 질문을 반복하며 각 구간을 기록해 보겠습니다.
-
![[Local LLM 구축하기 27] llama.cpp에서 GGUF와 CPU·GPU 옵션 비교](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-068-768x576.jpg)
[Local LLM 구축하기 27] llama.cpp에서 GGUF와 CPU·GPU 옵션 비교
모델 파일과 실행 옵션을 직접 지정해 보고 싶다면 llama.cpp를 사용할 수 있습니다. CPU로 실행한 뒤 GPU 적재를 요청하며 로그를 비교해 볼게요. Ollama가 대신 관리하던 부분 중 무엇을 직접 설정하게 되는지도 살펴봅니다.
마루옵스의 기록
한 줄의 로그도,
그냥 지나치지 않도록.
처음 설치할 때의 설정부터 운영 중 마주치는 문제까지.
다음에 다시 찾을 수 있도록, 확인할 값과 과정을 함께 적습니다.