성능·학습·운영

AI 성능·학습·운영

Ollama가 GPU를 사용하지 않을 때 확인할 것들

Linux와 NVIDIA GPU 환경에서 nvidia-smi·ollama ps·서비스 로그·컨테이너 장치 요청을 비교해 CPU 실행 원인을 좁히는 방법입니다.

2026.10.23
글 읽기 →: Ollama가 GPU를 사용하지 않을 때 확인할 것들
AI 성능·학습·운영

safetensors 모델 다운로드·압축 후 다크사이트에서 사용하기

Hugging Face의 safetensors 모델과 토크나이저·설정·Python 패키지를 함께 받아 압축하고, 폐쇄망에서 체크섬을 검증한 뒤 로컬 경로로 실행하는 절차입니다.

2026.10.22
글 읽기 →: safetensors 모델 다운로드·압축 후 다크사이트에서 사용하기
AI 성능·학습·운영

[Local LLM 구축하기 26] 적재 시간·첫 응답·생성 속도 따로 측정하기

응답이 느릴 때는 어느 구간에서 기다리는지부터 나눠 보면 좋아요. 모델 파일을 읽는 시간, 입력을 처리하는 시간, 답변을 한 토큰씩 만드는 시간은 원인이 다릅니다. 같은 질문을 반복하며 각 구간을 기록해 보겠습니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 26] 적재 시간·첫 응답·생성 속도 따로 측정하기
AI 성능·학습·운영

[Local LLM 구축하기 27] llama.cpp에서 GGUF와 CPU·GPU 옵션 비교

모델 파일과 실행 옵션을 직접 지정해 보고 싶다면 llama.cpp를 사용할 수 있습니다. CPU로 실행한 뒤 GPU 적재를 요청하며 로그를 비교해 볼게요. Ollama가 대신 관리하던 부분 중 무엇을 직접 설정하게 되는지도 살펴봅니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 27] llama.cpp에서 GGUF와 CPU·GPU 옵션 비교
AI 성능·학습·운영

[Local LLM 구축하기 28] LoRA·QLoRA와 작은 학습 코드의 구조

새 문서를 답변에 반영하려면 RAG로 해결할 수 있는지 먼저 살펴봅니다. 반복되는 답변 형식이나 분류 행동을 바꾸려는 경우라면 미세조정을 검토할 수 있어요. 여기서는 LoRA·QLoRA의 원리를 읽고 작은 학습 코드의 연결 구조를 확인합니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 28] LoRA·QLoRA와 작은 학습 코드의 구조
AI 성능·학습·운영

[Local LLM 구축하기 29] API·로그·도구 권한 보안 점검

모델을 PC에서 실행한 뒤에도 확인할 곳은 남아 있습니다. API가 듣는 주소, 로그에 쌓이는 원문, 외부 도구와 파일 권한을 살펴봐야 해요. 지금까지 만든 구성에서 데이터가 이동하는 경계를 정리해 보겠습니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 29] API·로그·도구 권한 보안 점검
AI 성능·학습·운영

[Local LLM 구축하기 30] 문서 Q&A 도구 백업·복원과 운영 기록

연재에서 준비한 검색과 답변 스크립트를 계속 쓰려면 자료를 고치고 백업에서 복원하는 방법도 필요합니다. 새 폴더에서 다시 시작할 수 있는지 확인해 볼게요. 여기서는 문서 Q&A 도구의 시작과 갱신, 백업·복원 순서를 정리합니다.

2026.10.18
글 읽기 →: [Local LLM 구축하기 30] 문서 Q&A 도구 백업·복원과 운영 기록

성능·학습·운영

Ollama가 GPU를 사용하지 않을 때 확인할 것들

safetensors 모델 다운로드·압축 후 다크사이트에서 사용하기

[Local LLM 구축하기 26] 적재 시간·첫 응답·생성 속도 따로 측정하기

[Local LLM 구축하기 27] llama.cpp에서 GGUF와 CPU·GPU 옵션 비교

[Local LLM 구축하기 28] LoRA·QLoRA와 작은 학습 코드의 구조

[Local LLM 구축하기 29] API·로그·도구 권한 보안 점검

[Local LLM 구축하기 30] 문서 Q&A 도구 백업·복원과 운영 기록