[Local LLM 구축하기 19] Hermes 모델과 대화 템플릿

Local LLM 구축하기 · 19/30 · 에이전트와 연결

전체 연재와 학습 순서 · 실습 코드 ZIP

Hermes라는 이름으로 모델과 에이전트 프로그램을 모두 접하게 됩니다. 먼저 구분해 두면 설치 안내를 읽기 편해요. 이 글에서는 Nous Research의 대화 모델을 다루고, 다음 글에서 Hermes Agent를 연결합니다.

Ollama와 18편의 평가표를 준비합니다. 같은 질문으로 Hermes 모델의 요약과 정보 추출 결과를 비교합니다.

기반 모델과 후학습

Hermes 3 Llama 3.1 8B는 Llama 기반의 후학습 모델입니다. 사전학습으로 익힌 언어 패턴에 지시 이행과 대화 행동을 조정한 모델이에요. 기반이 같아도 후학습 자료와 목적에 따라 답변 성향이 달라질 수 있습니다.

SFT는 지시와 좋은 응답의 예시를 학습시키는 방식입니다. 답변 사이의 선호를 반영하는 선호 최적화 계열의 방법도 있습니다. 어떤 기법을 사용했는지는 이름만 보고 추정하지 않고 해당 버전의 모델 카드와 기술 보고서에서 확인합니다.

Hermes 모델 실행·비교

ollama pull hermes3:8b
ollama show hermes3:8b
ollama run hermes3:8b

메모리가 부족하면 기존 모델을 stop한 뒤 적재합니다. 더 작은 변형은 공식 태그에서 찾아보세요. 여기의 Hermes 3는 같은 조건으로 비교하기 위한 대상입니다. 18편의 요약·추출 질문으로 원문 보존과 없는 정보 처리를 먼저 확인합니다.

영어 예제에서 잘 동작했다고 한국어 자료에서도 같은 결과가 나오는 것은 아닙니다. 말투가 마음에 드는지와 필요한 사실을 맞히는지를 나눠 평가해 보세요. 짧은 질문 외에 긴 대화에서도 처음의 제약을 유지하는지 살펴봅니다.

대화 템플릿 확인

대화 모델은 역할의 경계를 나타내는 특정 토큰 형식으로 학습될 수 있습니다. 서버가 다른 템플릿을 쓰면 시스템 지시와 사용자 입력의 구분이나 도구 호출에 문제가 생길 수 있습니다. Ollama 배포 모델은 우선 포함된 템플릿으로 확인합니다.

ollama show hermes3:8b --modelfile

출력의 TEMPLATE와 SYSTEM을 확인하되 임의로 다른 계열 템플릿을 덮어쓰지 않습니다. GGUF를 직접 가져올 때는 모델 카드의 템플릿을 확인하고 짧은 대화·여러 턴·도구 호출을 각각 시험합니다. 메타데이터가 있다는 이유만으로 모든 서버가 같은 방식으로 해석하는 것은 아닙니다.

가중치와 프로그램의 기억

모델은 답변할 때마다 가중치를 자동으로 고치는 것이 아닙니다. 프로그램이 이전 대화를 다시 넣거나 기억 파일을 저장해 활용할 수는 있어요. Hermes Agent의 지속 기억과 skill 생성도 이런 애플리케이션 동작과 구분해서 이해합니다.

사용과 재배포 조건은 Hermes 변형과 기반 Llama 양쪽을 확인합니다. Hermes Agent에 반드시 이 모델을 연결해야 하는 것은 아닙니다. 에이전트와 모델을 나눠 생각하면 필요한 도구와 모델을 각각 선택하기 편합니다.

참고 자료

• Hermes 3 모델 카드
• Hermes 3 기술 보고서
• Ollama Hermes 3 배포

문서·모델 태그 확인 기준: 2026년 10월 18일. 기본 실습 환경: Windows 11 x64.

---