호출 비용이 쌓이는 클라우드 코딩, 올라마로 내 PC에 옮기면
테스트 코드를 돌릴 때마다 API 호출 비용이 조금씩 쌓이고, 사내 코드가 밖으로 나가는 것도 신경 쓰이죠. 클라우드 AI에 코딩을 맡기는 개발자가 흔히 겪는 고민이에요. 같은 테스트를 반복 실행하는 개인 개발자에게는 누적 비용이 가볍지 않아요.
올라마(Ollama)는 이 부담을 내 PC 안으로 끌어오는 도구예요. 오픈소스 언어 모델을 클라우드 없이 내 컴퓨터 자원으로 돌려 주고, 명령어 한 줄이면 최신 코딩 모델이 로컬에서 떠서 파이썬 환경을 따로 만질 필요가 없어요. 이 글은 윈도우 기준으로 올라마 사용법을 설치부터 정리하고, 로컬 파이썬 코딩 에이전트를 만드는 흐름까지 이어 가요. 그런데 설치는 정말 인스톨러 하나로 끝날까요? 에이전트는 어떤 길로 모델과 대화할까요? 하나씩 풀어 볼게요.
다루는 범위는 세 가지예요. 윈도우에서 올라마를 설치하는 법, 11434 포트로 오가는 통신 구조, 파이썬 SDK로 코드를 받아 파일로 저장하는 흐름이에요. 구체적인 모델 이름과 세부 코드는 자료에 없는 부분이라, 공식 라이브러리에서 확인하는 방법으로 안내할게요.
외부 서버로 코드가 전송되지 않는다는 점, 이게 로컬 실행의 핵심이에요.
CUDA 버전 맞추던 시절과 달라진 점, 올라마가 쉬운 이유
예전에 로컬 AI 모델을 돌리려면 파이썬 가상환경을 만들고 CUDA 드라이버 버전까지 맞춰야 했어요. 이 과정에서 오류가 잦았어요. 모델을 쓰기도 전에 환경 설정에서 막히는 구조였던 거죠.
올라마는 바로 이 부분을 손봤어요. 모델 가중치를 관리하고 실행 엔진을 돌리는 일을 자체 백그라운드 프로세스가 도맡아요. 그래서 따로 설치할 의존 패키지가 거의 없고, 실행 파일 하나만 있으면 서버가 올라와요.
사용자는 터미널에 명령어 한 줄만 치면 돼요. 원하는 모델을 바로 받아 서버까지 띄울 수 있어요. 이 서버는 기본으로 내 PC의 11434 포트에서 REST API를 열어 두기 때문에, 다른 프로그램은 그 주소로 접속해 연동하면 돼요.
기본 통로는 로컬호스트의 11434 포트예요.
네트워크가 완전히 막힌 폐쇄망이나 오프라인 PC에서도 모델을 돌릴 수 있다고 해요. 코드가 외부 서버로 나가지 않으니, 보안이 민감한 프로젝트를 다룰 때 한결 마음이 편해요.
IT조선의 메타 관련 칼럼에서도 비슷한 활용처가 나와요. 칼럼은 올라마, LM스튜디오 같은 개인용 구동 도구 지원이 예고됐다고 전하면서, 인터넷 연결이나 외부 전송이 곤란한 환경의 업무 자동화를 활용처로 꼽았어요. 사내 문서를 밖으로 내보낼 수 없는 기업의 로컬 비서, 보안망 안에서 도는 코딩 보조, 출장지나 현장에서 오프라인으로 쓰는 경우가 예시예요.
윈도우 올라마 설치, 인스톨러 하나로 끝나는 과정
순서는 단순해요. 올라마 공식 웹사이트에 들어가면 운영체제별 인스톨러 다운로드 버튼이 한눈에 보여요. 윈도우 사용자는 여기서 Setup 실행 파일을 내려받으면 돼요.
내려받은 파일을 실행하면 설치 마법사가 뜨고, 마우스 클릭 몇 번이면 설치가 끝나요. 완료되면 작업 표시줄 트레이 영역에 알파카 아이콘이 나타나면서 서비스가 시작돼요.
설치가 끝났다면 파워셸을 열고 ollama 를 입력해 보세요. 도움말 옵션 목록이 정상적으로 나오면 시스템 환경변수 등록까지 마무리된 상태예요. 재부팅은 필요 없고, 바로 다음 단계인 모델 다운로드 명령으로 넘어가면 돼요. 공식 홈페이지 주소는 이번 자료에서 확인되지 않아 링크 카드는 넣지 않았어요. 설치 파일은 반드시 올라마 공식 웹사이트에서 받으세요.
11434 포트로 오가는 요청, 로컬 통신 구조 한눈에
올라마 데몬은 컴퓨터 내부에서 11434 포트를 열고 HTTP REST 방식으로 요청을 기다려요. 파이썬 스크립트나 VS Code 에디터 플러그인이 이 로컬 엔드포인트로 프롬프트를 보내면, 모델이 코드를 생성해서 돌려줘요.
입출력 데이터는 로컬 루프백 주소 안에서만 오가요. 외부로 나가는 경로가 없는 구조라서 사내 코드를 다룰 때 마음이 한결 편해요. 데몬이 메모리에 상주하며 모델 가중치를 관리해 주기 때문에, 같은 모델을 반복 호출해도 오버헤드가 적은 편이에요.
REST API로 다른 프로그램을 붙이는 큰 그림은 세 단계예요. 먼저 데몬이 떠 있는지 확인하고, 연결할 프로그램이 로컬 엔드포인트로 HTTP 요청을 보내도록 설정해요. 그다음 돌아온 응답을 프로그램 안에서 받아 쓰면 끝이에요. 파이썬에서는 뒤에서 볼 공식 SDK로 이 흐름을 간단하게 쓸 수 있어요.
코딩용 모델 설치, 7B 크기부터 시작하는 게 무난한 이유
올라마 라이브러리에는 다양한 오픈소스 모델이 올라와 있어요. 코딩 작업에는 코드 특화 모델이 유리해요. 구체적인 모델 이름과 크기별 목록은 자료에 없어서, 올라마 모델 라이브러리에서 직접 확인하는 걸 권해요.
처음에는 70억 개 파라미터, 7B급부터 시작하는 게 무난해요. 일반 개발용 노트북이나 데스크톱에서는 이 정도 크기가 속도와 정확도의 균형이 좋다고 알려져 있어요. 기준은 내 PC의 메모리 용량이에요.
파워셸이나 명령 프롬프트 창에서 실행 명령을 입력하면 다운로드가 끝난 뒤 곧바로 대화 모드로 들어가요. 모델 파일은 처음 한 번만 받고, 다음부터는 저장된 캐시를 읽어 와요. 대화 모드에서 간단한 파이썬 알고리즘 문제를 물어 응답 속도를 가늠해 보세요. 끝낼 때는 /bye 를 입력하면 돼요.
파이썬 SDK로 코딩 에이전트 만들기, 호출부터 파일 저장까지
터미널에서 pip 명령어로 공식 ollama 라이브러리를 설치하는 것부터 시작해요. 이 패키지가 있어야 파이썬 코드에서 올라마를 제어할 수 있어요.
패키지가 준비되면 chat 함수에 모델 이름과 메시지 배열을 넘겨요. 그러면 모델의 응답이 돌아와요. 스트리밍 옵션을 켜 두면 터미널에 코드가 한 줄씩 나타나는 모습을 실시간으로 볼 수 있어요.
응답으로 돌아온 딕셔너리의 content 값이 모델이 작성한 소스코드예요. 이 문자열을 .py 파일로 저장하면 호출에서 저장까지 한 흐름이 돼요. 이 틀을 조금 바꾸면 코드 리뷰를 자동화하거나 단위 테스트를 만들어 주는 봇도 가능해요. 세부 코드는 자료에 없어서 흐름까지만 적었어요.
연결이 안 될 때 먼저 볼 것: 포트 충돌과 GPU 메모리 점검
응답이 없거나 서버가 이상하게 동작하면 포트부터 의심해 보세요. 다른 개발 서버 프로그램이 11434 포트를 먼저 쓰고 있으면 올라마 데몬이 제대로 동작하지 않을 수 있어요.
가장 확실한 확인법은 웹 브라우저 주소창에 localhost:11434 를 입력하는 거예요. 서버가 구동 중이라는 안내 문구가 뜨면 정상이에요.
GPU를 실제로 쓰는지도 점검해 보세요. 작업 관리자의 전용 GPU 메모리 항목에서 올라마 프로세스가 잡혀 있는지 확인하면 돼요. VRAM이 모자라면 브라우저 탭 같은 걸 닫아서 여유를 만들어 주세요. VS Code의 로컬 AI 확장과 이을 때는 엔드포인트 주소 뒤에 v1 경로가 들어가는지도 살펴봐야 해요.
정리하면서 확인한 점: 오프라인에서 쓰기 전 점검 순서
참고 글과 뉴스 자료를 비교해 보면 올라마의 장점은 환경 설정이 줄어드는 것과 코드가 밖으로 나가지 않는 것, 두 가지로 모여요. 다만 오프라인 사용에는 전제가 하나 있어요. 모델은 첫 실행 때 내려받고 그 뒤에 로컬 캐시에서 불러오니까, 인터넷이 막힌 환경이라면 모델을 어떻게 미리 확보할지 따져야 해요. 이 방법은 자료에 없어서 올라마 공식 문서에서 확인해야 하고, 여기까지는 제 해석이에요.
점검 순서는 이렇게 잡는 걸 제안해요. 이것도 제 의견이에요. 첫째, 파워셸에서 ollama 도움말이 나오는지 설치를 확인해요. 둘째, 7B급 모델을 설치하고 간단한 질문으로 대화를 확인해요. 셋째, 브라우저에서 localhost:11434 를 열어 포트를 확인해요. 넷째, SDK로 chat 함수를 호출해요. 다섯째, 작업 관리자에서 GPU 메모리를 확인해요. 앞 단계에서 막히면 뒤로 가지 말고 거기서 원인을 잡는 게 시간을 아껴요.
환경을 한 번 갖춰 두면 내부 프로젝트나 가볍게 반복되는 스크립트 작업에 쓰기 좋아요. 호출 요금을 신경 쓰지 않고 프롬프트를 여러 번 바꿔 볼 수 있다는 게 가장 큰 차이예요.
다만 어디까지나 내 PC 사양이 받쳐 줘야 해요. 오늘 하나만 해 본다면 설치 확인과 7B급 모델 대화까지만 가 보세요. 거기까지 되면 나머지는 같은 구조를 코드로 옮기는 일이에요.
자주 묻는 질문
Q. 윈도우에서 설치 후 정상 작동은 어떻게 확인하나요?
A. 파워셸에서 ollama 명령어를 입력해 도움말 옵션 목록이 나오면 환경변수 등록까지 끝난 상태예요. 트레이에 알파카 아이콘이 보이는지도 함께 확인해 보세요.
Q. 로컬 통신은 어떤 포트와 방식인가요?
A. 로컬호스트의 11434 포트에서 HTTP REST 방식으로 요청을 받아요. 모든 입출력은 로컬 루프백 주소 안에서 오가요.
Q. 처음 시작할 모델은 어느 정도 크기가 좋나요?
A. 일반 개발용 노트북이나 데스크톱이라면 70억 파라미터(7B)급이 속도와 정확도의 균형이 좋아요. 구체적인 모델 이름은 올라마 모델 라이브러리에서 확인하세요.
출처
- IT조선 – 메타가 돌아왔다, 책상 위로 돌아온 메타 [정원훈의 AI 트렌드]
- 네이버 블로그 – 올라마(Ollama) 사용법, 로컬 PC에서 파이썬 코딩 에이전트 실행하는 법
- 참고 글 – 올라마(Ollama) 사용법, 로컬 PC에서 파이썬 코딩 에이전트 실행하는 법
📌 함께 보면 좋은 글
- 3~7일 후기, 애드포스트 승인 방법 ‘보류’가 전한 소식
- 3단계로, VPS 호스팅 신청 방법이 ‘단순화’됐다는데…
- 네이버 애드포스트 신청 및 보류 이유와 해결 방법, 바로 확인할 3곳과 주차별 보완 플랜
- 중고 펠리세이드 현행형 약 5,990만원, 시세표에 없는 ‘리콜’ 확인법
로컬에서 돌려 보고 싶은 코딩 모델이나 막혔던 단계가 있다면 댓글로 남겨 주세요.