개발 환경·API
-
RTX로 vLLM 돌려보기: Rocky Linux 9·Ubuntu 24.04·26.04
Rocky Linux 9와 Ubuntu 24.04·26.04에서 RTX로 작은 Qwen 모델을 띄우고 로컬 API로 질문합니다. 드라이버와 Docker 연결, AMD ROCm·Intel XPU의 차이, VRAM 부족 대응을 공식 문서 화면과 함께 정리했습니다.
-
Open WebUI에서 Ollama 모델이 안 보일 때
Open WebUI의 빈 모델 목록을 호스트 API·컨테이너 내부 연결·저장된 연결 설정·모델 권한으로 나누어 확인합니다.
-
![[Local LLM 구축하기 08] Python 설치와 프로젝트별 가상환경 만들기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-103-768x512.jpg)
[Local LLM 구축하기 08] Python 설치와 프로젝트별 가상환경 만들기
패키지는 설치됐다고 나오는데 import가 실패한다면, 실행 중인 Python부터 확인해 보세요. 패키지를 넣은 Python과 코드를 실행한 Python이 서로 다를 수 있습니다. 프로젝트 폴더 안에 가상환경을 만들고 그 경로를 직접 확인해 보겠습니다.
-
![[Local LLM 구축하기 09] Node.js·npm 설치와 실행 경로 확인](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-099-768x512.jpg)
[Local LLM 구축하기 09] Node.js·npm 설치와 실행 경로 확인
Node.js는 JavaScript를 브라우저 밖에서 실행하고, npm은 필요한 패키지를 설치하는 데 사용합니다. 뒤에서 다룰 OpenClaw도 Node로 동작해요. 여기서는 설치를 마친 뒤 실제로 어느 버전과 경로가 사용되는지 확인합니다.
-
![[Local LLM 구축하기 10] WSL2 설치와 파일·네트워크 구분](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-104-768x493.jpg)
[Local LLM 구축하기 10] WSL2 설치와 파일·네트워크 구분
WSL2를 설치하면 Windows PC에서 Linux 도구를 사용할 수 있습니다. 터미널을 오가다 보면 같은 파일이나 localhost를 보고 있다고 생각하기 쉬워요. 파일이 어디에 저장되고 서버가 어느 환경에서 실행되는지부터 나눠 보겠습니다.
-
![[Local LLM 구축하기 11] Docker Desktop과 컨테이너·볼륨·포트](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-121-768x577.jpg)
[Local LLM 구축하기 11] Docker Desktop과 컨테이너·볼륨·포트
Open WebUI 같은 웹 채팅 화면은 Docker 컨테이너로 실행할 수 있습니다. 필요한 프로그램을 묶어 띄울 수 있어 준비가 편해요. 다만 컨테이너를 지웠을 때 대화와 모델이 어디에 남는지는 먼저 알아 두어야 합니다.
-
[Local LLM 구축하기 12] Open WebUI와 Ollama로 웹 채팅 구성
대화 기록을 보관하고 브라우저에서 모델을 고르고 싶다면 Open WebUI를 붙여 볼 수 있어요. 여기서는 WebUI와 Ollama를 같은 Docker 네트워크에 둡니다. Windows에 먼저 설치한 Ollama와는 별도로 동작하는 실습입니다.
-
![[Local LLM 구축하기 13] Python으로 Ollama API 호출하기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-030-768x512.jpg)
[Local LLM 구축하기 13] Python으로 Ollama API 호출하기
채팅창에서 하던 질문을 Python 코드에서도 보낼 수 있습니다. 파일 요약이나 점검 메모 정리를 자동화할 때 필요한 출발점이에요. 요청을 JSON으로 보내고 응답에서 문장을 꺼내는 과정을 작은 함수로 만들어 보겠습니다.
-
![[Local LLM 구축하기 14] 원문과 조건을 분명하게 전달하는 프롬프트](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-098-768x512.jpg)
[Local LLM 구축하기 14] 원문과 조건을 분명하게 전달하는 프롬프트
요약을 부탁할 때에는 원문과 필요한 항목을 함께 주는 편이 결과를 확인하기 쉬워요. 담당자를 찾지 못했을 때 어떻게 표시할지, 답변은 어느 길이로 받을지도 적어 둡니다. 같은 메모에 지시를 조금씩 바꿔 넣으며 결과를 비교해…