GraphRAG(그래프RAG)는 사내 문서를 단순한 텍스트 조각이 아니라 엔티티(개체)와 관계로 연결된 지식그래프(Knowledge Graph) 위에서 검색·추론하는 차세대 RAG 방식입니다. 여러 문서를 가로지르는 멀티홉(multi-hop) 질문에서 일반 벡터RAG보다 정확도가 크게 높았고, 한때 발목을 잡던 인덱싱 비용도 LazyGraphRAG와 LightRAG 같은 경량 방식으로 거의 벡터RAG 수준까지 내려왔습니다. 이 글은 GraphRAG의 정의, 벡터RAG와의 차이, 비용 구조, 도입 단계, 그리고 실제 기업이 마주치는 함정을 한 번에 정리한 2026년 기준 실무 가이드입니다.
목차
- 3년 차 RAG 챗봇이 갑자기 무너진 날
- 왜 벡터RAG만으로는 한계에 부딪히나요
- GraphRAG란 무엇인가요
- GraphRAG vs 벡터RAG: 숫자로 본 차이
- 33,000달러가 33달러가 되기까지: 비용의 붕괴
- GraphRAG 도입 4단계 실전 가이드
- 어떤 업무에 GraphRAG가 맞을까
- FAQ
- 같이 읽으면 좋은 것들
3년 차 RAG 챗봇이 갑자기 무너진 날
한 제조 기업의 사내 지식 챗봇 운영을 컨설팅하던 때의 이야기입니다. 그 회사는 2023년부터 벡터 데이터베이스 기반 RAG 챗봇을 잘 써 왔습니다. "OO 부품 규격이 뭐야?", "이 공정 매뉴얼 몇 페이지에 나와?" 같은 질문에는 거의 완벽에 가깝게 답했죠. 현업 만족도도 높았습니다.
문제는 질문이 조금 복잡해질 때였습니다. 어느 날 품질팀에서 이런 질문이 들어왔습니다. "A 공급사가 납품한 자재 중에서, B 라인에 투입됐고, 작년 3분기 불량 리포트에 한 번이라도 언급된 자재가 뭐야?" 챗봇은 자신 있게 답을 내놨는데, 절반이 틀렸습니다. A 공급사 문단, B 라인 문단, 불량 리포트 문단이 각각 다른 문서에 흩어져 있었고, 벡터 검색은 "의미가 비슷한 조각"을 가져올 뿐 이 세 가지를 연결하지 못했거든요.
당시 저는 검색 결과 로그를 직접 뜯어봤습니다. 질문에 엔티티가 다섯 개를 넘어가면 정답률이 거의 바닥으로 떨어지는 패턴이 또렷하게 보였습니다. 청크를 더 잘게 쪼개고, 임베딩 모델을 바꾸고, 리랭커를 붙여도 이 구조적 한계는 좀처럼 사라지지 않았어요. 그때 처음으로 GraphRAG라는 접근을 진지하게 검토하기 시작했습니다. 결과부터 말하면, 같은 데이터를 지식그래프로 다시 구성한 뒤 멀티홉 질문의 정답률이 눈에 띄게 올라갔습니다. 이 글은 그 경험에서 출발합니다.
왜 벡터RAG만으로는 한계에 부딪히나요
먼저 산업 전체가 어떤 지점에 와 있는지부터 짚겠습니다. 2026년 들어 기업의 LLM 활용은 실험 단계를 지나, 사내 문서·고객 문의·내부 지식베이스에 실제로 붙여 운영하는 단계로 넘어왔습니다. 이 흐름의 표준 도구가 바로 RAG(검색 증강 생성)였습니다. 외부 지식을 검색해 LLM 프롬프트에 끼워 넣어 환각을 줄이는 방식이죠.
그런데 가장 널리 쓰인 벡터RAG(Vector RAG)에는 태생적 한계가 있습니다. 벡터RAG는 문서를 잘게 쪼개 임베딩으로 바꾼 뒤, 질문과 의미가 가까운 조각을 골라옵니다. 의미 유사도가 유일한 기준이라는 게 핵심이에요. 그래서 다음 세 가지 상황에서 약합니다.
첫째, 컨텍스트 누락입니다. 정답에 필요한 정보가 여러 문서에 흩어져 있으면, 유사도 상위 몇 개만 가져오는 방식으로는 조각을 다 모으지 못합니다. 둘째, 관계 추론 실패입니다. "X가 Y를 통해 Z와 연결되는가" 같은 멀티홉 질문은 의미가 비슷한 텍스트를 찾는 것만으로는 풀리지 않습니다. 셋째, 설명 불가능성입니다. 왜 그 답이 나왔는지 근거 경로를 추적하기 어렵습니다.
수치로 보면 더 분명합니다. 한 분석에 따르면 벡터RAG의 정확도는 질문에 등장하는 엔티티가 다섯 개를 넘어서면서 0에 가깝게 떨어지는 반면, 그래프 기반 검색은 엔티티가 열 개를 넘어도 안정적으로 유지됐습니다. 특히 KPI나 예측치처럼 스키마에 묶인 질문에서 벡터RAG가 0%를 기록한 사례도 보고됐는데, 이런 질문에서 성능을 회복한 건 GraphRAG뿐이었습니다. (FalkorDB 벤치마크 분석)
오해는 말아야 합니다. 벡터RAG가 나쁘다는 뜻이 아니에요. 단일 문서 안에서 답이 끝나는 질문, 사실 조회형 질문에는 여전히 빠르고 충분합니다. 다만 데이터의 연결성이 답의 품질을 좌우하는 순간, 의미 유사도만으로는 부족해진다는 게 핵심입니다.
GraphRAG란 무엇인가요
GraphRAG(그래프RAG)는 텍스트에서 엔티티와 관계를 추출해 지식그래프를 만들고, 그 그래프 구조 위에서 검색과 추론을 수행하는 RAG 방식입니다. 마이크로소프트 리서치(Microsoft Research)가 2024년 공개하면서 본격적으로 알려졌습니다.
작동 방식을 단계로 풀면 이렇습니다. 먼저 입력 문서 묶음에서 LLM이 사람·조직·제품·사건 같은 엔티티와 그 사이의 관계를 뽑아냅니다. 이렇게 만들어진 노드(Node)와 관계(Relationship)가 지식그래프를 이룹니다. 그다음 그래프를 군집(community)으로 나눠 각 군집을 요약해 둡니다. 질문이 들어오면 단순히 비슷한 텍스트 조각을 찾는 대신, 그래프를 따라가며 연결된 정보를 모으고 군집 요약을 활용해 프롬프트를 보강합니다.
핵심 차별점은 관계를 1급 시민으로 다룬다는 데 있습니다. 벡터RAG가 "이 문장이 질문과 얼마나 닮았나"를 본다면, GraphRAG는 "이 개체가 저 개체와 어떻게 이어지는가"를 봅니다. 덕분에 여러 문서를 가로지르는 교차 연결(cross-document linking), 두세 단계를 건너뛰는 멀티홉 추론, 그리고 답변 근거를 그래프 경로로 설명하는 일이 가능해집니다.
2026년에는 여기서 한발 더 나아간 에이전틱 GraphRAG(Agentic GraphRAG)도 등장했습니다. 여러 AI 에이전트가 협업해 스키마를 자동으로 추론하고, 지식그래프를 직접 구성하며, 질문의 구조와 위험 신호에 따라 벡터 검색과 그래프 탐색 중 어느 쪽으로 보낼지 스스로 결정하는 방식입니다. 사람이 일일이 스키마를 설계하지 않아도 엔티티 추출, 충돌 해소, 멀티홉 처리, 검색 전략 선택이 자동으로 이뤄지죠. 그래프 데이터베이스 기업 Neo4j는 2026년 4월 'The Context Gap'이라는 분석에서, 기업 AI 업계가 정작 추론에 필요한 구조적 기억에 투자를 게을리해 왔다고 지적하기도 했습니다.
GraphRAG vs 벡터RAG: 숫자로 본 차이
개념만으로는 와닿지 않으니 벤치마크를 보겠습니다. Diffbot의 KG-LM 벤치마크에서, 지식그래프 없이 작동한 LLM은 16.7% 정확도에 그쳤지만 같은 모델이 지식그래프에 근거를 두자 56.2%로 올랐습니다. 약 3.4배 차이입니다. 멀티홉 과제에서는 격차가 더 벌어졌습니다. GraphRAG가 86% 정확도를 낼 때 벡터RAG는 32%에 머물러, 54%포인트의 간극이 벌어졌습니다.
아래 표는 두 방식의 성격을 한눈에 비교한 것입니다.
| 구분 | 벡터RAG | GraphRAG |
|---|---|---|
| 검색 기준 | 의미 유사도 | 엔티티·관계 구조 |
| 강한 질문 | 단일 문서 사실 조회 | 멀티홉·교차 문서 추론 |
| 엔티티 5개 초과 시 | 정확도 급락 | 안정적 유지 |
| 근거 설명 | 어려움 | 그래프 경로로 추적 가능 |
| 인덱싱 부담 | 낮음 | 방식에 따라 큼~작음 |
실제 운영 사례에서도 의미 있는 변화가 보고됩니다. 어느 도입 사례에서는 인용 정확도가 87%에서 96%로, 멀티홉 답변 정확도가 41%에서 78%로 올랐습니다. 대신 평균 질의 지연시간(p95)이 약 130밀리초 늘었습니다. 즉 공짜는 아니라는 뜻이에요. 그래서 많은 팀이 택하는 게 하이브리드 구조입니다. 폭넓게 끌어오는 1차 검색은 벡터RAG로, 관계 검증과 정밀 추론은 GraphRAG로 나눠 맡깁니다. 150~200밀리초 정도의 오케스트레이션 오버헤드를 감수하는 대신 15~25%의 정확도 향상을 얻는 식이죠.
여기서 현장 감각 하나를 보태면, 정확도 숫자보다 더 크게 체감되는 건 "예전엔 아예 답을 못 하던 질문에 답하기 시작한다"는 변화였습니다. 앞서 제조 기업 사례에서 품질팀이 던졌던 그 교차 질문이, 그래프로 옮긴 뒤에는 막히지 않고 풀렸습니다. 못 풀던 걸 풀게 되는 변화는 정답률 몇 % 개선과는 결이 다른 가치였어요.
33,000달러가 33달러가 되기까지: 비용의 붕괴
2024년 GraphRAG의 발목을 잡은 가장 큰 장애물은 인덱싱 비용이었습니다. 마이크로소프트의 초기 방식은 대규모 기업 문서를 그래프로 인덱싱하는 데 33,000달러 이상이 들었습니다. 문서를 통째로 읽어 엔티티를 뽑고 군집을 요약하는 과정 전체에 LLM 호출이 들어가니, 코퍼스가 커질수록 비용이 가파르게 뛰었죠. 이 비용 때문에 PoC까지 갔다가 접은 프로젝트가 적지 않았습니다.
그런데 18개월 사이 상황이 뒤집혔습니다. 핵심은 "비싼 작업을 미리 다 하지 말자"는 발상입니다.
먼저 LazyGraphRAG입니다. 군집 요약 같은 무거운 작업을 인덱싱 시점이 아니라 질의 시점으로 미루는 방식인데요. 마이크로소프트 리서치에 따르면 LazyGraphRAG의 데이터 인덱싱 비용은 벡터RAG와 동일한 수준, 즉 풀(full) GraphRAG의 약 0.1%까지 내려갑니다. 사전 요약이 필요 없어 초기 인덱싱 부담을 거의 없앴습니다. (Microsoft Research)
다음은 LightRAG입니다. 전통적 GraphRAG로 4~7달러가 드는 문서를 약 0.15달러에 처리한다고 보고됐는데, 풀 GraphRAG 대비 연산 효율이 수천 배 개선된 셈입니다. 오픈소스로 공개돼 진입 장벽도 낮습니다. HippoRAG(미국 오하이오 주립대 NLP 그룹) 계열은 LLM이 추출한 그래프 위에서 개인화 페이지랭크(Personalized PageRank)를 돌려 멀티홉 추론 정확도를 유지하면서도 비용을 10~30배, 지연을 6~13배 낮춥니다.
정리하면, "GraphRAG는 비싸서 못 쓴다"는 2024년의 통념은 2026년 기준으로는 거의 깨졌습니다. 한 분석은 이 변화를 "33,000달러가 33달러가 된 18개월"이라고 표현하기도 했어요. (Graph Praxis 분석) 물론 모든 경우에 풀 GraphRAG가 필요한 것도 아니고, 대부분의 기업 워크로드는 경량 방식만으로 충분합니다. 비용은 더 이상 도입을 막는 1순위 이유가 아니라는 점이 중요합니다.
GraphRAG 도입 4단계 실전 가이드
처음 도입하는 팀을 위해, 현장에서 검증된 순서를 단계로 풀어 보겠습니다. 초보자도 따라갈 수 있게 구성했습니다.
1단계 — 질문 유형부터 진단합니다. GraphRAG를 깔기 전에, 현업이 실제로 던지는 질문 100개쯤을 모아 분류하세요. 단일 문서 사실 조회가 대부분이라면 벡터RAG로 충분합니다. 반대로 "A이면서 B이고 C와 연결된 것"처럼 엔티티가 여러 개 얽힌 멀티홉 질문 비중이 높다면 GraphRAG가 답입니다. 이 진단을 건너뛰면 필요 없는 곳에 무거운 인프라를 까는 실수를 하기 쉽습니다.
2단계 — 경량 방식으로 작게 시작합니다. 처음부터 풀 GraphRAG로 전사 문서를 인덱싱할 이유가 없습니다. LightRAG나 LazyGraphRAG로 한 부서, 한 도메인 문서부터 그래프를 구성해 보세요. 인덱싱 비용이 벡터RAG 수준이라 실패 비용이 거의 없습니다. 여기서 멀티홉 질문 정답률을 기존 챗봇과 나란히 비교해 보면, 도입 효과가 숫자로 바로 드러납니다.
3단계 — 하이브리드로 설계합니다. 벡터RAG를 버리고 GraphRAG로 전부 갈아엎는 게 아닙니다. 1차 폭넓은 검색은 벡터로, 관계 검증과 정밀 추론은 그래프로 라우팅하는 하이브리드가 현실적입니다. 질문 구조에 따라 어느 경로로 보낼지 판단하는 라우터를 두면, 지연과 비용을 통제하면서 정확도를 끌어올릴 수 있습니다.
4단계 — 거버넌스와 모니터링을 붙입니다. 그래프는 한 번 만들고 끝이 아니라, 문서가 바뀌면 엔티티와 관계도 갱신돼야 합니다. 누가 어떤 데이터를 그래프에 넣을 수 있는지 접근 권한을 설계하고, 답변 근거 경로를 로그로 남겨 검증 가능하게 만드세요. GraphRAG의 강점인 설명 가능성은 거버넌스를 제대로 붙였을 때 비로소 살아납니다.
어떤 업무에 GraphRAG가 맞을까
GraphRAG는 데이터의 연결성이 답의 품질을 좌우하는 영역에서 특히 빛납니다. 대표적인 활용처를 보겠습니다.
금융에서는 자금세탁방지(AML)가 전형입니다. "이 계좌가 어떤 거래를 거쳐 누구와 연결되는가"는 본질적으로 멀티홉 관계 추적이라, 거래·계좌·인물을 노드로 둔 그래프가 강력합니다. 제조에서는 공급망 리스크 관리가 대표적입니다. 특정 부품의 공급사가 막혔을 때 어떤 라인과 완제품까지 영향이 번지는지, 연쇄 관계를 따라가는 데 그래프가 제격이죠. 앞서 소개한 품질팀의 교차 질문도 정확히 이 범주였습니다.
의료·제약에서는 신약 개발과 연구 탐색이 있습니다. 논문·저자·물질·임상 데이터가 복잡하게 얽힌 영역에서, 에이전틱 GraphRAG가 그래프를 반복 탐색하며 특정 저자의 연구나 협업 네트워크를 추적합니다. 실제로 마이크로소프트는 LazyGraphRAG를 Azure 기반 과학 연구 플랫폼인 Microsoft Discovery를 통해 제공하기 시작했습니다.
반대로 굳이 GraphRAG가 필요 없는 경우도 분명히 해 둡니다. FAQ 응답, 단일 매뉴얼 조회, 약관 한 문단 찾기처럼 답이 한 문서 안에서 끝나는 질문은 벡터RAG가 더 빠르고 저렴합니다. "모든 RAG를 그래프로 바꿔야 한다"는 건 과장입니다. 핵심은 질문의 성격을 보고 도구를 고르는 분별이에요.
국내 환경에서도 그래프 기반 엔터프라이즈 AI에 대한 관심이 빠르게 커지고 있습니다. 다만 구체적인 한국 기업의 공개 도입 사례는 아직 제한적이라, 해외 벤치마크와 백서를 참고하되 자사 데이터로 작은 PoC부터 검증하는 접근을 권합니다. (OPENMARU GraphRAG 백서 정리)
FAQ
GraphRAG는 도입 난이도가 높지 않나요?
2024년까지는 인덱싱 비용과 스키마 설계 부담 때문에 난도가 높았습니다. 하지만 2026년 기준으로 LightRAG, LazyGraphRAG 같은 경량 방식이 나오면서 한 도메인 문서부터 작게 시작하는 게 가능해졌습니다. 오픈소스로 제공되는 도구가 많아, 벡터RAG를 운영해 본 팀이라면 충분히 단계적으로 확장할 수 있습니다.
벡터RAG보다 얼마나 정확한가요?
질문 유형에 따라 다릅니다. 단일 문서 사실 조회에서는 큰 차이가 없습니다. 다만 여러 문서를 가로지르는 멀티홉 질문에서는 벤치마크상 86% 대 32%처럼 큰 격차가 보고됐고, 지식그래프 근거를 둔 경우 약 3.4배 정확도 향상 사례도 있습니다. 정확도뿐 아니라 "기존엔 못 풀던 질문을 풀게 된다"는 점이 더 큰 변화입니다.
상업적으로 바로 써도 되나요?
네. 마이크로소프트 GraphRAG, LightRAG 등은 공개돼 있고 Azure 같은 상용 플랫폼을 통해서도 제공됩니다. 다만 사내 민감 데이터를 그래프에 넣을 때는 접근 권한 설계와 라이선스 조건을 반드시 확인하세요. 답변 근거가 그래프 경로로 추적된다는 점은 규제 산업의 감사 대응에 오히려 유리합니다.
비용이 많이 들지 않나요?
풀 GraphRAG는 비쌌지만, LazyGraphRAG는 인덱싱 비용이 벡터RAG 수준(풀 GraphRAG의 약 0.1%)까지 내려왔습니다. LightRAG는 4~7달러 작업을 0.15달러대에 처리합니다. 대부분의 기업 워크로드는 경량 방식으로 충분하므로, 비용은 더 이상 도입의 1순위 장벽이 아닙니다.
기존 벡터RAG를 다 버리고 갈아엎어야 하나요?
아닙니다. 권장 구조는 하이브리드입니다. 폭넓은 1차 검색은 벡터로, 관계 검증과 멀티홉 추론은 그래프로 라우팅하면 됩니다. 질문 성격에 따라 경로를 나누는 설계가 비용과 지연을 통제하면서 정확도를 끌어올리는 가장 현실적인 방법입니다.