AI

로컬 LLM의 실행과 활용, GPU 인프라와 운영 방법을 다룹니다.

AI 에이전트·클라우드

[Local LLM 구축하기 22] OpenClaw 설치와 Gateway 확인

OpenClaw는 대화 화면과 모델 제공자, 도구, 메신저를 연결하는 프로그램입니다. 모델 추론을 맡는 Ollama와 따로 동작해요. 설치 뒤에는 CLI 실행, Gateway 시작, 모델 응답을 순서대로 확인합니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 22] OpenClaw 설치와 Gateway 확인
AI 에이전트·클라우드

[Local LLM 구축하기 23] OpenClaw의 Ollama 주소와 도구 호출 점검

채팅은 되는데 도구 호출이 안 된다면 제공자 설정과 API 경로부터 확인해 보세요. 현재 OpenClaw의 Ollama 제공자는 네이티브 API를 사용합니다. Hermes에서 썼던 주소를 그대로 복사하면 경로가 맞지 않을 수 있습니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 23] OpenClaw의 Ollama 주소와 도구 호출 점검
AI 에이전트·클라우드

[Local LLM 구축하기 24] OpenRouter API와 요금·전송 경로 확인

OpenRouter를 사용하면 여러 외부 모델 제공자에 공통 API로 요청할 수 있습니다. 모델은 외부에서 실행되므로 자료가 어디로 가는지와 요금을 함께 확인해야 해요. 가상의 질문으로 호출 과정을 살펴보겠습니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 24] OpenRouter API와 요금·전송 경로 확인
AI 에이전트·클라우드

[Local LLM 구축하기 25] 로컬·클라우드 요청을 나누는 기준

로컬 모델을 기본으로 쓰면서 일부 질문만 외부 모델에 보낼 수 있습니다. 이때는 사용자가 전송 대상을 확인할 수 있어야 해요. 로컬 실행이 실패해도 자동으로 클라우드에 넘기지 않는 분기를 만들어 보겠습니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 25] 로컬·클라우드 요청을 나누는 기준
AI 성능·학습·운영

[Local LLM 구축하기 26] 적재 시간·첫 응답·생성 속도 따로 측정하기

응답이 느릴 때는 어느 구간에서 기다리는지부터 나눠 보면 좋아요. 모델 파일을 읽는 시간, 입력을 처리하는 시간, 답변을 한 토큰씩 만드는 시간은 원인이 다릅니다. 같은 질문을 반복하며 각 구간을 기록해 보겠습니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 26] 적재 시간·첫 응답·생성 속도 따로 측정하기
AI 성능·학습·운영

[Local LLM 구축하기 27] llama.cpp에서 GGUF와 CPU·GPU 옵션 비교

모델 파일과 실행 옵션을 직접 지정해 보고 싶다면 llama.cpp를 사용할 수 있습니다. CPU로 실행한 뒤 GPU 적재를 요청하며 로그를 비교해 볼게요. Ollama가 대신 관리하던 부분 중 무엇을 직접 설정하게 되는지도 살펴봅니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 27] llama.cpp에서 GGUF와 CPU·GPU 옵션 비교
AI 성능·학습·운영

[Local LLM 구축하기 28] LoRA·QLoRA와 작은 학습 코드의 구조

새 문서를 답변에 반영하려면 RAG로 해결할 수 있는지 먼저 살펴봅니다. 반복되는 답변 형식이나 분류 행동을 바꾸려는 경우라면 미세조정을 검토할 수 있어요. 여기서는 LoRA·QLoRA의 원리를 읽고 작은 학습 코드의 연결 구조를 확인합니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 28] LoRA·QLoRA와 작은 학습 코드의 구조
AI 성능·학습·운영

[Local LLM 구축하기 29] API·로그·도구 권한 보안 점검

모델을 PC에서 실행한 뒤에도 확인할 곳은 남아 있습니다. API가 듣는 주소, 로그에 쌓이는 원문, 외부 도구와 파일 권한을 살펴봐야 해요. 지금까지 만든 구성에서 데이터가 이동하는 경계를 정리해 보겠습니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 29] API·로그·도구 권한 보안 점검
AI 성능·학습·운영

[Local LLM 구축하기 30] 문서 Q&A 도구 백업·복원과 운영 기록

연재에서 준비한 검색과 답변 스크립트를 계속 쓰려면 자료를 고치고 백업에서 복원하는 방법도 필요합니다. 새 폴더에서 다시 시작할 수 있는지 확인해 볼게요. 여기서는 문서 Q&A 도구의 시작과 갱신, 백업·복원 순서를 정리합니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 30] 문서 Q&A 도구 백업·복원과 운영 기록