AI
로컬 LLM의 실행과 활용, GPU 인프라와 운영 방법을 다룹니다.
-
RTX로 vLLM 돌려보기: Rocky Linux 9·Ubuntu 24.04·26.04
Rocky Linux 9와 Ubuntu 24.04·26.04에서 RTX로 작은 Qwen 모델을 띄우고 로컬 API로 질문합니다. 드라이버와 Docker 연결, AMD ROCm·Intel XPU의 차이, VRAM 부족 대응을 공식 문서 화면과 함께 정리했습니다.
-
Ollama가 GPU를 사용하지 않을 때 확인할 것들
Linux와 NVIDIA GPU 환경에서 nvidia-smi·ollama ps·서비스 로그·컨테이너 장치 요청을 비교해 CPU 실행 원인을 좁히는 방법입니다.
-
Open WebUI에서 Ollama 모델이 안 보일 때
Open WebUI의 빈 모델 목록을 호스트 API·컨테이너 내부 연결·저장된 연결 설정·모델 권한으로 나누어 확인합니다.
-
토크나이저 사용하기: 한글·영문 토큰 ID와 벡터 직접 확인하기
한글과 영문을 직접 입력해 토큰 조각과 ID를 확인합니다. 선택한 토큰의 384차원 문맥 벡터를 브라우저에서 계산하고, 토큰 ID와 임베딩의 차이를 살펴봅니다.
-
safetensors 모델 다운로드·압축 후 다크사이트에서 사용하기
Hugging Face의 safetensors 모델과 토크나이저·설정·Python 패키지를 함께 받아 압축하고, 폐쇄망에서 체크섬을 검증한 뒤 로컬 경로로 실행하는 절차입니다.
-
리눅스에서 Ollama 모델 실행하기: 설치부터 로컬 API까지
Ubuntu·Rocky Linux에서 Ollama를 설치하고 Qwen3 모델을 실행합니다. CPU·GPU 사용 상태, 로컬 API 호출, 모델 관리와 서비스·메모리 오류 확인 방법을 정리했습니다.
-
![[Local LLM 구축하기 01] 로컬 LLM을 시작하기 전에 확인할 것들](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-095-768x512.jpg)
[Local LLM 구축하기 01] 로컬 LLM을 시작하기 전에 확인할 것들
로컬 LLM을 시작할 때는 지금 쓰는 PC에서 작은 모델 하나를 실행해 보는 것으로 충분해요. 짧은 메모를 넣고, 그 내용을 제대로 요약하는지 살펴보면 됩니다. 이 연재는 그 첫 실행에서 출발해 문서 검색과 운영까지…
-
![[Local LLM 구축하기 02] Windows 11에 Ollama 설치하고 첫 답변 받기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-027-768x512.jpg)
[Local LLM 구축하기 02] Windows 11에 Ollama 설치하고 첫 답변 받기
Windows에서 첫 답변을 받아 보는 데 필요한 것은 Ollama와 작은 대화 모델 하나예요. Python이나 Docker는 뒤에서 사용할 때 설치합니다. 먼저 다운로드, 실행, 응답 확인까지 짧게 이어 보겠습니다.
-
![[Local LLM 구축하기 03] 내 PC에서 쓸 모델 고르기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-093-768x509.jpg)
[Local LLM 구축하기 03] 내 PC에서 쓸 모델 고르기
모델을 고를 때는 먼저 맡길 일을 하나 정해 두는 게 좋아요. 한국어 메모 요약과 코드 수정, 사진 설명은 요구하는 능력이 다릅니다. PC에서 실행할 수 있는 크기의 후보를 추린 뒤, 실제로 쓸 질문을…