로컬 LLM이 더 이득이라는 착각, 실측하니 아니었다

전기값만 내면 공짜라길래 내 컴퓨터에 모델을 깔았다. 한 달 굴려보고 계산기를 두드리니 아니더라. 내가 재본 숫자랑, 그걸 보고 정한 로컬 LLM API 분기 기준을 그대로 적는다.

로컬 LLM은 내 컴퓨터 안에서 도는 AI 모델이다. 챗지피티나 클로드처럼 남의 서버에 물어보는 게 아니라, 모델 파일을 통째로 내려받아서 내 기계로 돌린다. 그러니까 쓸 때마다 돈이 안 나간다, 여기까지가 다들 하는 말이고 나도 그 말에 넘어갔다. 근데 두 달쯤 실제 업무에 물려놓고 보니, 안 세고 있던 항목이 꽤 있었다.

이 글은 "로컬이 좋다 나쁘다"를 가리려는 글이 아니다. 어떤 일을 로컬로 보내고 어떤 일을 API로 보낼지, 그 선을 어디에 그을지가 궁금해서 재봤고 그 결과다.

1. 공짜라는 말에 뭐가 빠져 있었나

내가 로컬 모델을 깐 이유는 단순했다. 볼트에 쌓인 노트를 매일 요약시키는 작업이 있는데, 이게 건수가 많다. 남의 서버에 보내면 건당 요금이 붙지만 내 기계는 이미 사놨으니 전기값만 내면 되잖아, 라는 계산.

깔기는 쉬웠다. 요즘은 오픈소스 모델을 클릭 몇 번으로 받아서 돌리는 도구가 잘 나와 있다. 오라마(Ollama)나 LM 스튜디오(LM Studio) 같은 것들인데, 둘 다 무료고 설치하면 채팅창까지 딸려 온다. 맥을 쓴다면 애플이 만든 MLX라는 실행 엔진 위에서 도는 버전이 특히 빠르다. 모델은 알리바바가 공개한 큐원(Qwen) 계열을 썼다. 가중치를 통째로 공개해놔서 누구나 받아 쓸 수 있는 모델이다.

여기까지 반나절. 첫 응답이 내 화면에 뜨는 순간은 솔직히 좀 짜릿했다.

내 컴퓨터가 혼자 말을 하네..

문제는 그 다음이다. 한 건 테스트할 땐 안 보이던 게, 매일 도는 파이프라인에 물려놓으니까 하나씩 튀어나오더라. 다시 돌린 횟수, 깨진 결과 손으로 고친 시간, 모델 바꿔가며 다시 세팅한 저녁 시간 같은 것들. 전기값은 그중 가장 안 중요한 항목이었다.

2. 뭘 어떻게 쟀나

감으로 말하기 싫어서 같은 일을 양쪽에 시켰다. 조건은 이렇게 맞췄다.

과제: 볼트에 쌓인 노트 200개를 읽고 각각 한 줄 요약 + 주제 태그 3개를 정해진 형식으로 뽑기
로컬: 맥 스튜디오 한 대에서 큐원 계열 모델, 다른 작업은 안 돌리는 상태
API: 클로드 하이쿠(빠르고 싼 등급) 호출
잰 것: 건당 걸린 시간, 형식이 깨져서 다시 돌린 비율, 실제 청구된 요금

같은 프롬프트, 같은 노트, 같은 출력 형식이다. 채점 기준을 어떻게 잡느냐로 결과가 통째로 뒤집힌다는 건 예전에 모델 세 개 붙여놓고 채점표만 세 번 고쳤던 글에서 실컷 데였던 부분이라, 이번엔 아예 "정해진 형식으로 나왔나 안 나왔나"만 봤다. 문장이 예쁜지는 안 쟀다. 요약 파이프라인 자체를 어떻게 짰는지는 옵시디언 요약·태깅 편에 이미 풀어놨으니 여기선 건너뛴다.

표본 200개는 통계라기엔 작다. 그건 인정하고 들어간다. 다만 방향이 뒤집힐 만한 차이는 아니었다.

3. 속도, 200건 돌리니 차이가 보였다

한 건만 시켜보면 둘 다 "어, 빠른데?" 싶다. 진짜 차이는 쌓였을 때 나온다.

항목	로컬 모델	API(하이쿠)
1건 평균	약 18초	약 3초
200건 총 소요	60분 안팎	10분 안팎
동시 처리	사실상 1건씩	여러 건 병렬

(내 기계, 내 프롬프트 기준이다. 모델 크기랑 장비 사양 바꾸면 당연히 달라진다.)

숫자보다 중요한 건 그 60분 동안 컴퓨터가 뜨거워진다는 거였다. 팬이 돌고, 다른 작업이 굼떠진다. 나는 그 시간에 글을 쓰거나 다른 걸 시키고 싶은데 기계가 하나뿐이니 서로 자리를 뺏는다. API로 보내면 그 60분이 통째로 내 것이 되고.

반대로 이런 경우도 있다. 밤 2시에 알아서 돌아가는 배치라면 60분이든 90분이든 아무 상관이 없다. 내가 자고 있으니까. 이 구분이 나중에 분기 기준의 뼈대가 됐다.

▲ 노트 200건 요약 작업의 총 소요 시간을 로컬 모델 60분, API 10분 막대로 비교한 그래프 (자체 제작 이미지)

4. 진짜 비용은 형식이 깨지는 데 있었다

여기가 제일 많이 데인 지점이다.

내가 시킨 건 "요약 한 줄, 태그 세 개, 정해진 형식으로" 였다. 사람이 읽고 넘어갈 답이 아니라, 뒤에 붙은 스크립트가 그대로 받아먹어야 하는 데이터다. 형식이 하나만 어긋나도 그 줄은 버려진다.

로컬 모델은 이걸 종종 흘렸다. 200건 중 스무 건 남짓, 그러니까 열에 하나꼴로 형식이 어긋났다. 앞에 인사말을 붙이거나, 태그를 네 개 주거나, 생각하는 과정을 그대로 뱉어놓거나. 같은 프롬프트를 API에 보냈을 땐 한두 건 수준이었다.

더 골치 아픈 건 "이렇게 하지 말라"는 옵션을 줘도 무시할 때가 있다는 점이었다. 내가 쓰던 실행 엔진에선 응답 형식을 지정하는 설정이 조용히 씹히는 경우가 있어서, 결국 답을 받자마자 형식 검사부터 하는 껍데기를 하나 더 만들어 끼웠다. 마커가 있는지 보고, 없으면 버리고 다시 시키는 식으로. 그 껍데기를 만들고 다듬는 데 든 저녁 시간은 어느 계산서에도 안 찍힌다.

공짜라며 시작했는데 인건비가 나였네 ㅋ

그래서 나는 "품질"이라는 말을 이제 이렇게 나눠 쓴다. 문장이 얼마나 그럴듯한가는 로컬 모델도 꽤 한다. 근데 시킨 형식을 얼마나 고분고분 지키는가는 확실히 갈렸다. 자동화에서 아픈 건 후자다. 사람이 읽고 넘어갈 결과면 좀 삐뚤어도 되지만, 뒤에 스크립트가 붙어 있으면 열에 하나가 곧 파이프라인 정지니까.

5. 돈, 계산기를 두드려봤다

이제 제일 궁금했던 항목이다.

API 쪽부터. 노트 하나 읽는 데 대략 1,500토큰, 답이 150토큰쯤 나왔다. 토큰은 글자를 잘게 쪼갠 단위인데, 한국어는 대충 한 글자에 1~2토큰쯤 잡으면 감이 온다. 200건이면 입력 30만, 출력 3만 토큰. 클로드 하이쿠 등급은 100만 토큰당 입력 1달러, 출력 5달러다. 곱하면 0.45달러, 한국 돈으로 700원이 안 된다.

200건에 700원. 솔직히 이 숫자 보고 좀 허탈했다.

로컬 쪽 전기값도 재봤는데, 이쪽도 푼돈이었다. 한 시간 좀 넘게 돌아간 정도로는 커피값 근처도 못 간다. 그러니까 "전기값이 비싸서 로컬이 손해"가 아니다. 양쪽 다 이 규모에선 돈이 안 든다는 게 진짜 결론이었다.

돈 얘기가 의미를 갖는 건 자릿수가 바뀔 때다. 내가 볼트에 갖고 있는 노트가 15,000개인데, 이걸 통째로 한 번 돌리면 API 요금은 대략 34달러, 5만 원 근처가 된다. 그리고 이런 전수 작업은 한 번으로 안 끝난다. 프롬프트 고쳐서 다시, 형식 바꿔서 또 다시. 세 번 돌리면 15만 원이다. 이쯤 되면 밤새 로컬로 굴리는 게 확실히 낫다.

정리하면 이렇다. 건수가 몇백 단위면 돈은 변수가 아니고, 만 단위로 올라가면 그때부터 돈이 주인공이 된다. 쓰는 돈 자체를 줄이는 습관은 비용 아끼는 법 편에 따로 정리해뒀으니 거기 참고하면 되고.

▲ 처리 건수가 200건에서 15,000건으로 늘 때 API 요금이 700원에서 5만원 근처로 치솟는 곡선 그래프 (자체 제작 이미지)

6. 그래서 정한 분기 기준 세 줄

한 달 굴려보고 벽에 붙여놓은 기준이다. 복잡하게 안 만들었다.

(1) 사람이 기다리는 일은 API로, 기계가 밤에 하는 일은 로컬로.

내가 화면 앞에서 결과를 기다리고 있으면 18초는 길다. 열 번 반복하면 3분을 멍하니 앉아 있는 셈이고, 그 3분이 짜증으로 쌓여서 결국 그 자동화를 안 쓰게 된다. 반대로 새벽 3시에 알아서 도는 배치는 한 시간이 걸리든 두 시간이 걸리든 내 시간을 안 먹는다. 매일 아침 10시에 브리핑을 받는 파이프라인에서도 수집·요약 같은 밤일은 로컬로 내려보내고, 아침에 내가 읽을 문장을 다듬는 마지막 단계만 API로 뽑는다.

(2) 결과를 스크립트가 받아먹으면 API, 사람이 눈으로 확인하고 넘어가면 로컬.

형식을 지켜야 하는 일에 열에 하나 실패는 못 견딘다. 그 하나를 잡으려고 검사 껍데기 만들고, 재시도 붙이고, 로그 보다가 저녁이 날아간다. 반대로 "대충 무슨 내용인지" 태그나 붙이는 일, 내가 어차피 훑어볼 결과물이면 삐뚤어도 그만이다.

(3) 밖으로 나가면 안 되는 내용은 무조건 로컬. 품질이 떨어져도.

이건 계산의 문제가 아니라 그냥 선이다. 회사 계약서, 고객 명단, 아직 안 낸 원고. 이런 건 성능이 좀 아쉬워도 내 기계 안에서 끝낸다. 사실 로컬 모델을 계속 붙들고 있는 가장 정직한 이유가 이거다.

세 줄을 겹쳐서 하나로 줄이면 이렇게 된다. 로컬은 "느려도 되고, 틀려도 내가 보고, 밖에 못 내보내는" 일을 맡는다. 나머지는 그냥 API가 낫다. 대량 배치라는 조건 하나만으로 로컬을 고르면 안 되고, 위 세 개 중 최소 두 개는 맞아야 한다는 게 실측하고 얻은 감각이다.

7. 정리, 로컬이 이기는 자리는 따로 있다

시작할 땐 "로컬이 공짜니까 다 로컬로 옮기자"였는데, 지금 내 파이프라인은 대략 이런 모양이다. 밤에 도는 수집·1차 요약·태깅은 로컬, 아침에 내가 읽거나 스크립트가 받아먹는 결과물은 API. 로컬이 넘어져도 API로 한 번 더 시도하는 예비 경로를 깔아둔 자리도 있다.

그러니까 로컬 LLM이 쓸모없다는 얘기가 전혀 아니다. 다만 "쓴 만큼 돈이 안 나간다"는 한 줄만 보고 고르면 다른 데서 더 크게 낸다. 나는 그 값을 저녁 시간으로 냈고 ㅠㅠ

지금 로컬 모델을 깔까 말까 고민 중이라면, 굳이 안 말린다. 설치는 반나절이면 되고, 내 기계가 혼자 답을 뱉는 그 경험 자체가 감을 확 바꿔놓는다. 다만 깔고 나서 바로 업무 파이프라인에 물리지는 말고, 하려던 일 200건만 양쪽에 똑같이 던져보고 시간이랑 실패 건수를 세봐라. 반나절이면 나온다. 그 숫자 없이 정하면 나처럼 두 달 돌아온다.

3줄 요약 - 로컬 LLM은 전기값이 문제가 아니었다. 형식 깨져서 다시 돌리고 손보는 내 시간이 진짜 비용이더라. - 200건 규모면 API 요금이 700원 수준이라 돈은 변수가 아니고, 만 건 넘어가면 그때 로컬이 이긴다. - 분기 기준 세 줄: 내가 기다리는 일이면 API, 스크립트가 받아먹으면 API, 밖에 못 내보낼 내용이면 무조건 로컬.

잴 수 있는 건 재보고 정하는 게 마음이 제일 편하다. 고민만 길어지는 중이면 그냥 200건 던져보자. 화이팅!

이 글은 정보 제공용이고, 작성 시점(2026년 8월) 기준이다. API 요금과 모델 라인업은 공식 페이지에서 수시로 바뀌니 결제 전에 원문을 한 번 확인하는 걸 권한다. 본문의 속도·실패율 숫자는 내 장비, 내 프롬프트, 노트 200개 기준의 개인 실측이라 일반적인 벤치마크가 아니다. 장비 사양과 모델 크기가 다르면 결과도 달라진다. 특정 제품 사용을 권유하거나 성능을 보장하지 않는다.

참고한 공식 자료 - 로컬 모델 실행 도구: Ollama - 로컬 모델 실행 도구(GUI): LM Studio - 애플 실리콘용 실행 엔진: MLX (GitHub) - 오픈 가중치 모델: Qwen3 (GitHub) - API 요금표: platform.claude.com, pricing - 빠른 추론 API 요금(참고): Groq pricing [⚠️UNVERIFIED]

이 글은 정보 제공이 목적이고, 작성 시점 기준이다. 요금·기능·정책은 이후 바뀔 수 있으니 결제·설치 전 공식 페이지를 한 번 확인하는 게 좋다. 특정 제품 사용을 권유하거나 결과를 보장하지 않는다.