AI

로컬 LLM의 실행과 활용, GPU 인프라와 운영 방법을 다룹니다.

AI 개발 환경·API

[Local LLM 구축하기 13] Python으로 Ollama API 호출하기

채팅창에서 하던 질문을 Python 코드에서도 보낼 수 있습니다. 파일 요약이나 점검 메모 정리를 자동화할 때 필요한 출발점이에요. 요청을 JSON으로 보내고 응답에서 문장을 꺼내는 과정을 작은 함수로 만들어 보겠습니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 13] Python으로 Ollama API 호출하기
AI 개발 환경·API

[Local LLM 구축하기 14] 원문과 조건을 분명하게 전달하는 프롬프트

요약을 부탁할 때에는 원문과 필요한 항목을 함께 주는 편이 결과를 확인하기 쉬워요. 담당자를 찾지 못했을 때 어떻게 표시할지, 답변은 어느 길이로 받을지도 적어 둡니다. 같은 메모에 지시를 조금씩 바꿔 넣으며 결과를 비교해…

2026.10.18
글 읽기 →: [Local LLM 구축하기 14] 원문과 조건을 분명하게 전달하는 프롬프트
AI 개발 환경·API

[Local LLM 구축하기 15] JSON Schema와 응답 검증

답변을 다음 프로그램에 넘기려면 사람이 읽기 좋은 문장만으로는 부족합니다. JSON 앞에 인사말이 붙어도 파서는 멈출 수 있어요. 형식을 지켰는지와 안에 담긴 값이 맞는지를 나눠 확인해 보겠습니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 15] JSON Schema와 응답 검증
AI 문서 검색·RAG

[Local LLM 구축하기 16] 임베딩과 코사인 유사도로 문서 검색하기

“백업을 며칠 남기지?”라고 물었는데 문서에는 “보관 기간”이라고 적혀 있을 수 있어요. 이런 표현 차이를 다루는 방법 중 하나가 임베딩 검색입니다. 문장을 벡터로 바꿔 가까운 문서 조각을 찾고, 답변 생성 전에 검색 결과부터…

2026.10.18
글 읽기 →: [Local LLM 구축하기 16] 임베딩과 코사인 유사도로 문서 검색하기
AI 문서 검색·RAG

[Local LLM 구축하기 17] 검색한 문서로 답하는 RAG 구성

앞에서 찾은 문서 조각을 대화 모델에 함께 보내면, 그 자료를 참고해 답하도록 만들 수 있습니다. 이 방식이 RAG예요. 문서를 모델의 가중치에 새로 학습시키는 과정 없이, 질문할 때 필요한 근거를 찾아 넣습니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 17] 검색한 문서로 답하는 RAG 구성
AI 문서 검색·RAG

[Local LLM 구축하기 18] 모델과 RAG를 비교할 평가표 만들기

모델을 비교할 질문을 미리 남겨 두면 교체나 업데이트 뒤에도 판단하기 편합니다. 잘 답했던 질문뿐 아니라 틀렸던 질문, 문서에 답이 없는 질문도 모아 보세요. 작은 평가표부터 만들어 검색과 답변을 따로 확인하겠습니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 18] 모델과 RAG를 비교할 평가표 만들기
AI 에이전트·클라우드

[Local LLM 구축하기 19] Hermes 모델과 대화 템플릿

Hermes라는 이름으로 모델과 에이전트 프로그램을 모두 접하게 됩니다. 먼저 구분해 두면 설치 안내를 읽기 편해요. 이 글에서는 Nous Research의 대화 모델을 다루고, 다음 글에서 Hermes Agent를 연결합니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 19] Hermes 모델과 대화 템플릿
AI 에이전트·클라우드

[Local LLM 구축하기 20] Hermes Agent 연결과 도구·기억 설정

에이전트는 모델의 답을 바탕으로 도구를 실행하고 그 결과를 다시 모델에 전달합니다. 반복 작업을 줄이는 데 쓸 수 있지만 접근할 자료와 도구를 먼저 정해야 해요. Hermes Agent를 로컬 모델에 연결하되 읽기와 실행 범위를…

2026.10.18
글 읽기 →: [Local LLM 구축하기 20] Hermes Agent 연결과 도구·기억 설정
AI 에이전트·클라우드

[Local LLM 구축하기 21] 재고 조회 도구로 에이전트 루프 만들기

도구 하나를 직접 연결해 보면 에이전트가 어디까지 결정하고 어디부터 프로그램이 맡는지 보입니다. 여기서는 가상의 장비 재고를 조회하게 해 볼게요. 파일 수정이나 셸 실행 없이 요청, 인수 검사, 결과 반환의 흐름을 확인합니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 21] 재고 조회 도구로 에이전트 루프 만들기