LLM 파인튜닝과 RAG, 언제 무엇을 써야 할까요? LoRA·QLoRA·DPO로 본 2026 기업 도입 완전 가이드

기업이 자체 데이터로 LLM을 다룰 때 마주치는 첫 갈림길이 파인튜닝(Fine-tuning)과 RAG입니다. 결론부터 말씀드리면, 2026년의 표준은 둘 중 하나를 고르는 것이 아니라 순서를 지키는 것입니다. 자주 바뀌는 지식은 RAG로 검색하고, 잘 변하지 않는 말투·형식·판단 기준은 파인튜닝으로 모델에 새깁니다. 전체 모델을 다시 학습시키는 대신 LoRA·QLoRA로 0.1~1%의 파라미터만 얇게 얹으면 비용은 수백 달러 수준으로 떨어집니다. 프롬프트 → RAG → 파인튜닝 → 증류(Distill)라는 순서를 지키는 것이 실패 확률을 가장 크게 줄이는 방법입니다.

파인튜닝 하나 붙였다가 3주를 버린 이야기
왜 지금 파인튜닝 대 RAG가 다시 쟁점이 됐나
파인튜닝이란 무엇이고 어떻게 작동하나요
RAG와 파인튜닝, 무엇이 어떻게 다른가요
LoRA·QLoRA·DPO·GRPO 한 번에 정리
비용과 ROI: 5만 달러가 300달러가 되는 구조
기업 도입 4단계 로드맵
FAQ
같이 읽으면 좋은 것들

파인튜닝 하나 붙였다가 3주를 버린 이야기

한 중견 커머스 기업의 CS팀이 상담 챗봇 품질을 올려달라고 요청한 적이 있습니다. 담당자는 확신에 차 있었는데요. "우리 상담 로그가 30만 건이나 있으니 이걸로 모델을 파인튜닝하면 되지 않겠냐"는 것이었습니다. 언뜻 합리적으로 들립니다. 데이터가 많으니까요.

문제는 다른 데 있었습니다. 챗봇이 틀린 답을 하는 이유의 대부분은 말투가 어색해서가 아니라, 지난주에 바뀐 반품 규정이나 신상품 재고를 모르기 때문이었습니다. 그런데 파인튜닝은 학습 시점의 지식을 모델 가중치에 굳혀버리는 방식이라, 규정이 또 바뀌면 다시 학습해야 합니다. 30만 건을 며칠에 걸쳐 학습시키고 나서야 팀은 깨달았습니다. 정작 필요한 건 최신 규정 문서를 그때그때 찾아 읽히는 검색이었다는 걸요.

방향을 틀었습니다. 규정·재고·배송 정책 같은 자주 바뀌는 지식은 RAG로 검색해 답변 근거로 넣고, "정중하고 간결하게, 항상 규정 조항 번호를 함께 안내한다"는 응답 형식만 가벼운 LoRA 어댑터로 학습시켰습니다. 학습에 든 GPU 비용은 채 300달러가 안 됐고, 3주 걸릴 뻔한 일이 이틀로 줄었습니다. 이 경험이 남긴 교훈은 단순합니다. 파인튜닝과 RAG는 경쟁 관계가 아니라 역할이 다른 도구라는 것입니다.

왜 지금 파인튜닝 대 RAG가 다시 쟁점이 됐나

몇 년 전만 해도 기업이 LLM을 자기 것으로 만드는 길은 사실상 파인튜닝 하나뿐이었습니다. 그런데 두 가지 흐름이 판을 바꿨습니다.

첫째는 RAG의 부상입니다. 2025년 가트너 조사에 따르면 프로덕션 단계에서 LLM을 운영하는 기업 팀의 70% 이상이 지식 그라운딩의 기본 수단으로 RAG를 쓰고 있고, 파인튜닝을 단독 방식으로 쓰는 곳은 25% 미만입니다. RAG가 기본값이 된 셈인데요. 외부 문서를 검색해 근거로 넣으면 환각을 크게 줄이면서도 지식을 실시간으로 갱신할 수 있기 때문입니다.

둘째는 파인튜닝 자체가 싸지고 가벼워졌다는 점입니다. 예전에는 70억 파라미터 모델 하나를 통째로 학습시키려면 100~120GB의 VRAM, 즉 H100 GPU 여러 장을 며칠씩 돌려야 했습니다. 단일 학습에 5만 달러가 우습게 들었죠. 그런데 LoRA와 QLoRA 같은 파라미터 효율 기법(PEFT)이 자리 잡으면서, 같은 모델을 1,500달러짜리 RTX 4090 한 장으로도 파인튜닝할 수 있게 됐습니다.

여기에 도메인 특화 흐름이 겹칩니다. 가트너는 2026년 트렌드로 도메인 특화 언어 모델(DSLM)을 지목했는데요. 공공·금융·의료·제조처럼 정확성이 핵심인 분야에서는 범용 모델이 주는 두루뭉술한 답으로는 부족하기 때문입니다. 미래에셋증권이 온프레미스 방식으로 금융 특화 sLLM을 구축한 사례처럼, 국내 기업들도 개발 비용이 낮고 특정 업무에 최적화된 소형 모델 쪽으로 무게를 옮기고 있습니다. 이런 흐름 속에서 "그래서 우리는 파인튜닝을 해야 하나, RAG를 해야 하나"라는 질문이 다시 전면에 떠오른 것입니다.

파인튜닝이란 무엇이고 어떻게 작동하나요

파인튜닝은 이미 대규모로 사전학습된 모델을 가져와, 우리 조직의 데이터로 추가 학습시켜 행동을 바꾸는 과정입니다. 사전학습이 세상 전반에 대한 언어 감각을 익히는 단계라면, 파인튜닝은 그 감각 위에 특정 업무의 말투·형식·판단 기준을 덧입히는 단계입니다.

핵심은 파인튜닝이 지식보다 행동을 바꾸는 데 강하다는 점입니다. "우리 회사는 답변 끝에 항상 담당 부서를 안내한다" 같은 형식, "법률 자문 문서 특유의 조심스러운 어조" 같은 스타일, "이런 유형의 문의는 이렇게 분류한다" 같은 판단 규칙은 프롬프트만으로는 매번 흔들립니다. 이런 지속적인 행동 변화가 필요할 때 파인튜닝이 제 역할을 합니다.

2026년의 파인튜닝은 하나의 단계가 아니라 여러 단계로 나뉜 스택으로 이해하는 편이 정확합니다. 일반적인 후처리(post-training) 순서는 다음과 같습니다.

SFT(지도 파인튜닝): 지시를 따르는 법, 정해진 형식으로 답하는 법을 예시로 가르칩니다. 보통 1만~10만 건의 예시가 쓰입니다.
선호 최적화(DPO 등): 좋은 답과 나쁜 답의 쌍을 보여주며 "이런 쪽을 골라라"를 학습시킵니다.
강화학습(GRPO 등): 정답이 검증 가능한 과제에서 여러 답을 스스로 시도하게 하고, 어떤 사고 과정이 정답으로 이어지는지를 배우게 합니다.

정리하면 SFT는 모방을, 선호 최적화는 취향을, 강화학습은 추론을 가르칩니다. 처음부터 이 전부를 할 필요는 없습니다. 대부분의 기업 과제는 SFT만으로, 또는 SFT에 얇은 LoRA를 얹는 것만으로 충분합니다.

RAG와 파인튜닝, 무엇이 어떻게 다른가요

한 줄 요약: 자주 바뀌는 지식은 RAG로 검색해 넣고, 잘 안 바뀌는 행동은 파인튜닝으로 모델에 새깁니다.

RAG(검색 증강 생성)는 답변을 만들기 직전에 외부 지식 베이스에서 관련 문서를 찾아 프롬프트에 근거로 붙이는 방식입니다. 모델의 가중치는 건드리지 않습니다. 그래서 규정이 바뀌면 문서만 갈아 끼우면 되고, 어떤 문서를 근거로 답했는지 출처를 그대로 보여줄 수 있습니다. 최신성·투명성·갱신 비용 면에서 압도적으로 유리합니다.

반면 파인튜닝은 지식을 모델 안에 굳혀넣기 때문에, 학습 이후 바뀐 정보는 반영하지 못합니다. 대신 검색으로는 안정적으로 잡히지 않는 말투·형식·분류 규칙을 지속적으로 유지시킵니다. 아래 표로 정리하면 성격이 분명해집니다.

구분	RAG	파인튜닝
바꾸는 대상	참조하는 지식(문맥)	모델의 행동·말투·판단
지식 갱신	문서 교체로 즉시 반영	재학습 필요
출처 표시	가능(근거 문서 제시)	어려움
대표 용도	사내 규정·매뉴얼·최신 데이터	응답 형식·톤·도메인 분류
비용 성격	검색 인프라 운영비	학습·데이터 준비비

그렇다면 실무에서 가장 잘 작동하는 답은 무엇일까요. 하이브리드입니다. 업계에서 자주 인용되는 원칙이 있는데요. "바뀌는 것은 검색으로, 바뀌지 않아야 할 것은 파인튜닝으로"입니다. 또 하나 중요한 현실이 있습니다. "우리는 파인튜닝이 필요하다"는 요청의 80%는 사실 더 나은 검색과 프롬프트 설계로 해결된다는 점입니다. 그래서 순서가 중요합니다. 프롬프트로 먼저 시도하고, 안 되면 RAG를 붙이고, 그래도 형식·톤이 흔들리면 그때 파인튜닝을 얹는 것이 정석입니다.

LoRA·QLoRA·DPO·GRPO 한 번에 정리

파인튜닝을 하기로 했다면 이제 방법을 골라야 합니다. 용어가 많아 보이지만 역할로 나누면 간단합니다.

LoRA(Low-Rank Adaptation)는 2026년 파인튜닝의 주력 도구입니다. 모델 전체를 다시 학습시키는 대신, 어텐션과 MLP 층에 작은 저차원 어댑터 행렬을 끼워 넣고 원본 파라미터의 약 0.1~1%만 학습시킵니다. 학습량이 작으니 싸고 빠르고, 무엇보다 되돌리기 쉽습니다. 어댑터만 떼면 원래 모델로 돌아오니까요. LoRA는 전체 파인튜닝 성능의 90~95%를 회복하면서도 메모리는 극히 일부만 씁니다.

QLoRA는 여기서 한 발 더 나갑니다. 모델을 4비트로 양자화(압축)한 상태에서 LoRA를 얹어, 메모리를 10~20배 줄입니다. 덕분에 70억 파라미터 모델이 소비자용 GPU 한 장에도 올라갑니다. 품질은 전체 파인튜닝의 80~90% 수준으로, 대부분의 업무에서 체감 차이가 크지 않습니다. 업계에서 "90%의 경우 Llama 3.1 8B나 Mistral 7B에 QLoRA"가 기본 추천으로 통하는 이유입니다.

DPO와 GRPO는 SFT 다음 단계, 즉 정렬(alignment)에 쓰입니다.

DPO(직접 선호 최적화): 좋은 답과 나쁜 답 쌍만 있으면 별도의 보상 모델 없이 바로 선호를 학습시킵니다. 학습이 안정적이라 대부분의 팀이 SFT 다음에 DPO를 씁니다.
GRPO(그룹 상대 정책 최적화): 한 질문에 여러 답을 생성한 뒤 서로 비교해 우열을 매기는 강화학습 기법입니다. 별도의 비평 모델이 필요 없어 비용이 낮고, 수학·코드처럼 정답을 검증할 수 있는 추론 과제에서 특히 강합니다.

실무 선택은 이렇게 요약됩니다. 형식·톤이 목적이면 SFT + LoRA로 충분하고, 답변 품질의 미세 조정이 필요하면 DPO를 얹고, 정답이 명확한 추론 과제라면 GRPO를 고려합니다. 처음부터 GRPO까지 갈 일은 많지 않습니다.

비용과 ROI: 5만 달러가 300달러가 되는 구조

파인튜닝을 망설이게 하는 가장 큰 이유가 비용이었습니다. 그런데 그 전제가 바뀌었습니다.

전체 파인튜닝은 70억 파라미터 모델 하나에 100~120GB VRAM이 필요했고, 이는 H100 GPU 기준 5만 달러어치 자원을 단일 학습에 쏟아붓는 셈이었습니다. 반면 QLoRA를 쓰면 같은 모델을 1,500달러짜리 RTX 4090 한 장으로 돌립니다. 학습 1회 비용이 50~300달러 수준으로 떨어집니다. LoRA가 "성능의 95%를 비용의 10%로" 낸다는 표현이 과장이 아닌 이유입니다.

클라우드 시세로 보면 H100 80GB는 시간당 2.5~4달러, RTX 4090은 시간당 0.4~0.8달러 수준이고, 스팟 인스턴스를 쓰면 여기서 60~80%를 더 아낄 수 있습니다. QLoRA로 5만 건 규모 데이터를 A100 한 장에 4~6시간이면 학습하니, GPU 비용만 놓고 보면 정말 얼마 안 듭니다.

다만 여기서 흔히 오해하는 지점이 있습니다. GPU 시간은 사실 가장 작은 비용입니다. 진짜 돈이 드는 곳은 따로 있는데요. 양질의 학습 데이터셋을 만드는 일, 여러 번 반복 학습하며 튜닝하는 일, 결과를 평가하는 일, 그리고 기반 모델이 새 버전으로 올라갈 때마다 다시 학습하는 일입니다. 그래서 ROI를 계산할 때는 "학습 1회 300달러"가 아니라 "데이터 구축 + 반복 실험 + 재학습 주기"를 통째로 봐야 합니다. 엔터프라이즈 커스텀 프로젝트가 LoRA 방식으로도 4,800~1만 2,500달러 선에서 형성되는 건 이 때문입니다. 그래도 예전의 수만 달러 단위에 비하면 진입 장벽이 크게 낮아진 것은 분명합니다.

기업 도입 4단계 로드맵

초보 조직도 따라갈 수 있도록 단계로 정리했습니다. 핵심은 "가벼운 것부터, 순서대로"입니다.

1단계, 프롬프트로 먼저 검증합니다. 파인튜닝이나 RAG를 논하기 전에, 잘 짠 프롬프트와 몇 개의 예시(few-shot)만으로 어디까지 되는지 확인합니다. 여기서 해결되는 문제가 생각보다 많습니다.

2단계, RAG로 지식을 붙입니다. 최신성·정확성이 문제라면 사내 문서를 벡터 데이터베이스에 넣고 검색해 근거로 제공합니다. 자주 바뀌는 규정·매뉴얼·상품 정보는 거의 전부 이 단계에서 해결됩니다.

3단계, 형식이 흔들릴 때만 파인튜닝을 얹습니다. RAG를 붙였는데도 말투·출력 형식·분류 기준이 일관되지 않다면, 그때 강한 기반 모델(Llama·Mistral 계열 등) 위에 얇은 LoRA/QLoRA 어댑터를 학습시킵니다. RAG를 대체하는 게 아니라 함께 씁니다.

4단계, 증류와 운영으로 마무리합니다. 프론티어 모델의 성능을 더 작고 저렴한 모델로 옮겨야 한다면 증류(Distill)를 검토하고, 프롬프트·비용·환각을 지속적으로 모니터링하는 LLMOps 체계를 갖춥니다. 기반 모델이 업데이트될 때마다 재학습·재평가하는 주기를 운영 프로세스에 미리 넣어두는 것이 좋습니다.

이 순서를 지키면 "필요도 없는 파인튜닝에 3주를 태우는" 실수를 피할 수 있습니다. 프롬프트 → RAG → 파인튜닝 → 증류, 이 네 글자를 기억하시면 됩니다.

FAQ

파인튜닝과 RAG 중 하나만 골라야 한다면 무엇을 먼저 시도해야 하나요?

RAG를 먼저 시도하시길 권합니다. 2026년 프로덕션 LLM 팀의 70% 이상이 RAG를 기본 지식 그라운딩 수단으로 쓰고 있고, "파인튜닝이 필요하다"는 요청의 약 80%가 실제로는 더 나은 검색과 프롬프트로 해결됩니다. 최신성·투명성·갱신 비용 모든 면에서 RAG가 유리하기 때문입니다. RAG로도 말투나 형식이 계속 흔들릴 때 파인튜닝을 얹는 것이 정석입니다.

초보 팀도 파인튜닝을 직접 할 수 있나요? 난이도는 어느 정도인가요?

예전보다 크게 쉬워졌습니다. Hugging Face PEFT 같은 도구로 QLoRA 어댑터를 학습시키는 것은 소규모 팀도 충분히 시도할 수 있는 수준이 됐고, 단일 GPU 한 장이면 됩니다. 다만 진짜 어려움은 학습 코드가 아니라 양질의 데이터셋을 만들고 결과를 제대로 평가하는 일에 있습니다. 첫 프로젝트라면 형식·톤 교정 같은 명확한 목표부터 SFT + LoRA로 작게 시작하시길 권합니다.

파인튜닝한 모델을 상업적으로 써도 되나요?

기반 모델의 라이선스에 따라 다릅니다. Llama·Mistral 계열처럼 상업적 이용을 허용하는 오픈 모델을 쓰면 파인튜닝 결과물도 상업적으로 활용할 수 있습니다. 다만 각 모델마다 조건이 다르므로 라이선스를 반드시 확인해야 하고, 학습에 쓴 데이터의 저작권·개인정보 처리도 함께 점검해야 합니다. 금융·의료처럼 규제가 강한 분야는 온프레미스 학습을 검토하는 편이 안전합니다.

파인튜닝을 하면 시간이 얼마나 절감되고, 비용은 실제로 얼마나 드나요?

QLoRA 기준으로 5만 건 규모 데이터를 A100 한 장에 4\~6시간이면 학습하고, 학습 1회 GPU 비용은 50\~300달러 수준입니다. 전체 파인튜닝이 5만 달러대였던 것과 비교하면 극적으로 낮아진 셈입니다. 다만 실제 프로젝트 총비용은 데이터 구축·반복 실험·재학습 주기를 포함해 수천 달러대로 잡는 것이 현실적입니다. GPU 시간 자체는 전체 비용에서 가장 작은 부분입니다.

기존의 프롬프트 엔지니어링만으로는 안 되나요?

많은 경우 프롬프트만으로 충분합니다. 그래서 도입 순서의 1단계가 프롬프트 검증입니다. 하지만 프롬프트는 매 호출마다 지시를 다시 넣어야 하고 길어질수록 흔들리기 쉽습니다. 최신 지식이 필요하면 RAG가, "항상 이 형식으로 답한다" 같은 지속적 행동이 필요하면 파인튜닝이 더 안정적입니다. 프롬프트 → RAG → 파인튜닝은 대체가 아니라 보완 관계로 쌓아 올리는 구조입니다.

목차