Ollama로 로컬 LLM 설치하는 방법과 로컬 AI 시작하기

Published on Jake

인터넷 연결 없이, 구독료 없이, 내 PC 안에서만 돌아가는 AI. 이게 로컬 LLM(Large Language Model, 대형 언어 모델)의 핵심이다. 그리고 그 진입점으로 가장 많이 쓰이는 도구가 Ollama다.

Ollama는 복잡한 환경 설정 없이 터미널(명령 프롬프트) 명령 한 줄로 AI 모델을 다운로드하고 실행할 수 있게 해주는 오픈소스 런타임이다. 2026년 6월 기준 최신 버전은 v0.6.2이며, 윈도우, 맥OS, 리눅스 모두 지원한다.

로컬에서 AI를 직접 실행하는 이유

ChatGPT나 Claude 같은 클라우드 AI는 편리하지만 몇 가지 한계가 있다. 입력한 내용이 서버로 전송되기 때문에 민감한 문서나 사내 데이터를 넣기 꺼려질 수 있고, 월 구독비가 지속적으로 발생한다. 인터넷이 느리거나 끊기면 쓸 수 없다는 점도 현실적인 불편이다.

로컬 LLM은 이 문제를 반대로 뒤집는다. 모든 처리가 내 컴퓨터 안에서만 일어나므로 데이터가 외부로 나가지 않고, 한 번 설치하면 추가 비용 없이 계속 쓸 수 있다. 느린 인터넷 환경에서도 응답 속도는 내 GPU 성능에만 달려 있다.

물론 트레이드오프가 있다. GPT-4o나 Claude Sonnet 수준의 최상위 모델을 로컬에서 돌리려면 상당한 하드웨어가 필요하다. 하지만 7B~14B(70억~140억 파라미터) 크기의 모델이면 일반적인 문서 요약, 코드 작성 보조, 번역 작업에서 충분히 실용적인 성능을 낸다. Llama 3, Mistral, Gemma 같은 모델들이 이 범위에 속한다.

Ollama 설치 방법 (윈도우, 맥)

Ollama 공식 사이트(ollama.com)에서 OS에 맞는 인스톨러를 직접 받아 설치하는 것이 가장 간단하다.

윈도우 설치
공식 사이트에서 OllamaSetup.exe 파일을 다운로드한 뒤 실행하면 자동으로 설치된다. 설치 후 터미널(PowerShell 또는 명령 프롬프트)을 열어 아래 명령으로 설치 여부를 확인한다.

ollama --version

맥OS 설치
공식 사이트에서 Ollama-darwin.zip을 받아 압축을 풀고 Applications 폴더로 이동하거나, Homebrew(맥 패키지 관리자)가 설치되어 있다면 터미널에서 아래 명령을 쓸 수 있다.

brew install ollama

설치가 완료되면 Ollama가 백그라운드 서비스로 실행된다. 맥에서는 상단 메뉴바에 라마 아이콘이 표시된다.

모델 다운로드 및 실행

Ollama 설치 후 모델을 받아 바로 실행하는 것은 터미널 명령 한 줄이면 된다. ollama run 명령은 모델이 없으면 자동으로 다운로드한 뒤 실행까지 진행한다.

# Llama 3.2 3B 모델 실행 (약 2GB, 저사양 PC에 적합)
ollama run llama3.2

# Llama 3.1 8B 모델 실행 (약 5GB, 일반 사용 권장)
ollama run llama3.1

# Mistral 7B 모델 실행 (코드 작업에 강함)
ollama run mistral

# 이미 받은 모델 목록 확인
ollama list

# 실행 중인 모델 확인
ollama ps

모델 다운로드가 끝나면 곧바로 대화 인터페이스가 열린다. 일반 채팅처럼 질문을 입력하면 AI가 응답한다. 대화를 종료하려면 /bye를 입력하거나 Ctrl+D를 누른다.

Ollama 공식 모델 라이브러리(ollama.com/library)에서 사용 가능한 전체 모델 목록을 확인할 수 있다. Llama, Gemma, Phi, Mistral, Qwen 등 수십 가지 오픈소스 모델이 등록되어 있다.

SPECIFICATIONS
Ollama 권장 시스템 사양
airusk.com
RAM
최소 8GB (7B 모델) / 16GB 이상 권장 / 32B+ 모델은 24GB+
GPU VRAM
4GB (소형 모델) / 8GB (7B 모델 권장 진입점) / 16GB (14B~) / 없어도 CPU만으로 동작
저장공간
모델 크기별 2~50GB (SSD 권장, HDD는 로딩 속도 크게 저하)
GPU 지원
NVIDIA (Compute Capability 5.0+, 드라이버 531+), AMD ROCm v7, Apple Metal (M시리즈 전체)
운영체제
Windows 10/11, macOS 12+, Linux (Ubuntu 20.04+ 등), Docker

REST API로 Ollama 호출하기

Ollama는 터미널 대화 외에 REST API(프로그램끼리 데이터를 주고받는 통신 방식)도 함께 제공한다. Ollama가 실행 중이면 기본적으로 http://localhost:11434에서 HTTP 요청을 받는다. 이를 통해 파이썬, 자바스크립트 등 어떤 언어에서도 로컬 AI를 호출할 수 있다.

curl로 텍스트 생성 요청

curl http://localhost:11434/api/generate \
  -d '{
    "model": "llama3.1",
    "prompt": "파이썬으로 피보나치 수열을 출력하는 코드를 작성해줘",
    "stream": false
  }'

채팅 형식으로 요청 (대화 맥락 유지)

curl http://localhost:11434/api/chat \
  -d '{
    "model": "llama3.1",
    "messages": [
      {"role": "user", "content": "한국어로 짧게 자기소개해줘"}
    ]
  }'

파이썬에서는 requests 라이브러리로 동일하게 호출할 수 있고, OpenAI SDK를 사용하는 기존 코드도 베이스 URL만 http://localhost:11434/v1으로 바꾸면 Ollama와 호환된다. 이미 ChatGPT API로 만든 앱을 로컬 모델로 교체하는 것이 상대적으로 수월하다는 뜻이다.

모델 목록 조회, 모델 삭제, 임베딩(텍스트를 숫자 벡터로 변환하는 기능) 생성 등 다양한 엔드포인트가 공식 문서(docs.ollama.com)에 정리되어 있다.

자주 묻는 질문

Q1) GPU가 없어도 Ollama를 쓸 수 있나요?

CPU(중앙처리장치)만으로도 동작한다. 다만 GPU가 없으면 응답 속도가 크게 느려진다. 7B 모델 기준으로 GPU 가속이 되면 초당 20~40 토큰(단어 단위) 정도 나오지만, CPU 전용이면 초당 3~8 토큰 수준으로 떨어진다. 짧은 질문에 수십 초가 걸릴 수 있어 실시간 대화에는 불편할 수 있다. 처음 시작이라면 3B~4B 크기의 가벼운 모델부터 시도해보는 것이 좋다.

Q2) 어떤 모델을 처음 받아야 하나요?

일반 PC(RAM 16GB, GPU 없음)에서 시작한다면 llama3.2 3B 모델이 무난하다. 용량이 약 2GB로 작고, 한국어 응답 품질도 쓸 만하다. GPU(VRAM 8GB)가 있다면 llama3.1 8B 또는 mistral 7B를 추천한다. 코드 작업 중심이라면 qwen2.5-coder 시리즈도 선택지다.

Q3) 모델 데이터는 어디에 저장되나요?

윈도우에서는 C:\Users\사용자명\.ollama\models 폴더에 저장된다. 맥에서는 ~/.ollama/models다. 모델 하나가 수 GB에서 수십 GB 크기이므로 여러 모델을 받을 계획이라면 여유 있는 SSD 공간을 확보해두는 것이 좋다. ollama rm 모델명 명령으로 필요 없는 모델을 삭제할 수 있다.

Q4) Open WebUI와 함께 쓸 수 있나요?

Open WebUI는 Ollama 위에 ChatGPT처럼 생긴 웹 인터페이스를 올려주는 별도 오픈소스 도구다. 도커(Docker, 프로그램을 격리된 컨테이너 안에서 실행하는 플랫폼)가 설치되어 있다면 명령 몇 줄로 브라우저에서 AI와 대화할 수 있는 환경을 구성할 수 있다. 터미널 명령이 불편한 사용자에게 유용하다.

댓글 남기기