GGUF
-
![[Local LLM 구축하기 07] LM Studio에서 GGUF 모델과 API 사용하기](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-034-768x509.jpg)
[Local LLM 구축하기 07] LM Studio에서 GGUF 모델과 API 사용하기
모델 파일과 양자화 종류를 화면에서 골라 보고 싶다면 LM Studio를 사용할 수 있어요. Ollama에서 했던 다운로드와 적재, 응답 확인을 다른 화면에서 따라가 보겠습니다. 둘 다 계속 사용할 필요는 없으니 관리 방식의 차이를…
-
![[Local LLM 구축하기 27] llama.cpp에서 GGUF와 CPU·GPU 옵션 비교](https://blog.maruops.com/wp-content/uploads/2026/10/maruops-photo-068-768x576.jpg)
[Local LLM 구축하기 27] llama.cpp에서 GGUF와 CPU·GPU 옵션 비교
모델 파일과 실행 옵션을 직접 지정해 보고 싶다면 llama.cpp를 사용할 수 있습니다. CPU로 실행한 뒤 GPU 적재를 요청하며 로그를 비교해 볼게요. Ollama가 대신 관리하던 부분 중 무엇을 직접 설정하게 되는지도 살펴봅니다.