2026-11-02 · 이지현 (선임연구원)

AI 에이전트 도입 현황: 국내외 운영 전환율과 파일럿 정체 원인 분석

#ai·자동화#ai에이전트도입현황#운영전환율#전사내재화#에이전트거버넌스#에이전트워싱#섀도ai#업무재설계#맥킨지#기업정보화통계조사

핵심 요약: AI 에이전트 시도는 넓고 운영 전환은 좁습니다

AI 에이전트 도입 현황의 핵심은 시도는 넓게 퍼졌지만 파일럿에서 운영으로 넘어가는 문턱에서 국내외 기업이 같은 비율로 멈춰 있다는 것입니다. 캐럿글로벌 조사(2025년 12월, 국내 기업 HR·HRD 담당자 300여 명)에서 AI 에이전트를 전사에 내재화한 기업은 3.7%였습니다. 시범 도입 이상 기업 가운데 부분 확산 이상으로 넘어간 비율은 국내 37.6%, McKinsey 글로벌 조사 37.1%로 거의 같습니다.

AI 에이전트는 목표를 받으면 작업 순서를 스스로 정하고 사내 시스템을 호출해 업무를 처리하는 AI입니다. 도입률은 무엇을 도입으로 세느냐에 따라 조사마다 크게 달라집니다. 그래서 비교 기준은 시범 도입 이상 기업 중 부분 확산 이상에 이른 비율, 곧 운영 전환율로 맞췄습니다.

목차

AI 에이전트 도입 현황: 운영 전환율은 국내외 모두 37%대

국내 기업 10곳 중 4곳이 AI 에이전트를 시범 도입 이상 단계에 올렸지만 업무 일부에라도 정착시킨 곳은 15.6%에 그칩니다. 캐럿글로벌 조사에서 가장 많은 기업이 머문 단계는 탐색·준비(39.6%)였고 미도입은 18.9%였습니다.

표 1. 국내외 AI 에이전트와 국내 생성형 AI의 도입 단계별 분포(단위: %)

도입 단계국내 생성형 AI국내 AI 에이전트글로벌 AI 에이전트
탐색·준비34.839.6-
시범 도입25.925.9-
부분 확산28.511.9-
전사 내재화6.73.7-
시도 단계(국내 시범 도입 이상, 글로벌 실험 이상)61.141.562
확산 단계(국내 부분 확산 이상, 글로벌 1개 이상 기능에서 확장)35.215.623
운영 전환율(확산 단계÷시도 단계)57.637.637.1

자료: 캐럿글로벌 「2026 한국기업 AI 활용 현황 디브리핑」(2025년 12월 조사, 국내 기업 HR·HRD 담당자 300여 명), McKinsey 「The State of AI in 2025」(2025년 6~7월 조사, 글로벌 기업 경영진·실무자). 국내 합산값과 운영 전환율은 리포트 계산이며 국내외 값은 응답자와 시점이 달라 방향성 비교입니다.

시범 도입은 25.9%로 같은데 부분 확산에서는 생성형 AI(28.5%)가 에이전트(11.9%)의 2.4배입니다. 생성형 AI는 개인이 문서 작성이나 요약에 쓰면서 기존 업무 흐름을 건드리지 않고도 퍼집니다. 에이전트는 시스템 권한과 데이터 연동, 결과 검증 책임이 정해져야 다음 단계로 넘어갑니다. 운영 전환율이 57.6%와 37.6%로 20.0%p 벌어지는 원인이 바로 이 조직적 요건입니다.

글로벌 기업도 같은 문턱에 걸려 있습니다. McKinsey 조사에서 에이전트를 최소한 실험하는 기업은 62%, 한 개 이상 업무 기능에서 확장 중인 기업은 23%였지만 확장 기업 비율이 10%를 넘는 업무 기능은 하나도 없었습니다. 이 '확장'은 국내 '전사 내재화'(3.7%)보다 넓은 개념이어서 '부분 확산 이상'과 짝지어 비교했습니다.

한국 기업은 시도 단계에서 20.5%p, 확산 단계에서 7.4%p 뒤지지만 운영 전환율 차이는 0.5%p입니다. 국내외 모두 시범에 들어선 기업 10곳 중 6곳 이상이 그 자리에 머물러 있는 셈인데요. 카문다 조사(ZDNet Korea, 2026년 10월)에서도 IT 리더의 71%가 에이전트를 쓴다고 답했지만 지난 1년 동안 운영 단계까지 간 사례는 11%였습니다. 파일럿 병목은 한국만의 문제가 아니라 공통 구조입니다.

도입 방식과 비용: 측정 없는 파일럿은 비용만 남깁니다

도입 경로마다 비용이 생기는 지점은 다르지만 성과를 재지 않는 파일럿은 어느 경로든 비용만 남깁니다. 업무용 소프트웨어에 내장된 에이전트를 켜는 SaaS 내장형은 라이선스·사용량 과금에 벤더 검증 비용이 더해집니다. Gartner는 수천 개 벤더 중 실제 에이전트 역량을 갖춘 곳을 약 130곳으로 봤습니다(2025년 6월 발표, RanketAI 인용). 기존 챗봇이나 RPA(반복 업무 자동화 소프트웨어)에 이름만 바꿔 단 '에이전트 워싱'이 그만큼 흔합니다.

직원이 직접 만드는 개별 개발형은 초기 비용이 거의 없는 대신 비용을 사후 관리로 미룹니다. CIO Korea가 전한 하우디닷컴 조사에서 AI를 쓰는 지식 근로자의 16%는 에이전트를 직접 개발하고 있었습니다. 회사가 제작 도구를 깔아 주는 플랫폼형은 그 중간입니다. ZDNet Korea가 소개한 국내 한 제조기업은 현업 직원 약 200명이 한 플랫폼에서 에이전트를 만들게 하고 제작 절차 표준화와 실행 단계 보안을 플랫폼에 맡겼습니다. 연동·권한 설계 비용을 먼저 치르고 관리되지 않는 에이전트의 사후 비용을 줄이는 방식입니다.

RanketAI는 성과 대신 호출 수를 재는 것, 금액으로 환산되지 않는 업무를 고르는 것, 도입 전 기준값(baseline)이 없는 것, 데모를 운영과 혼동하는 것을 파일럿 실패 원인으로 꼽았습니다. Gartner가 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 취소될 것으로 보며 든 이유도 비용 증가와 불분명한 사업 가치, 위험 통제 부족입니다. 비용은 청구서로 바로 보이지만 효과는 기준값 없이는 증명되지 않습니다.

성과 비교: 고성과 기업은 업무 흐름과 검증 절차부터 바꿨습니다

AI로 이익을 낸 기업과 나머지를 가른 것은 모델이 아니라 업무 방식과 통제 절차였습니다. McKinsey 2025 조사에서 최소 한 개 업무 기능에 AI를 쓰는 기업은 88%로 전년(78%)보다 10%p 늘었습니다. 그러나 전사 EBIT(이자·세금 차감 전 이익)에 영향이 있다고 답한 곳은 39%여서 사용과 성과 사이에 49%p의 간극이 있습니다.

AI가 EBIT의 5% 넘게 기여한다고 답한 고성과 기업(응답자의 약 6%)은 업무 흐름을 근본적으로 재설계한 비율이 55%로 나머지 기업(20%)의 2.75배였습니다. 사람이 결과를 검증하는 절차(human-in-the-loop)를 명시한 비율도 65%로 23%의 2.8배였고 에이전트를 확장할 가능성도 약 3배 높았습니다.

검증 절차를 더 갖춘 기업이 에이전트를 더 넓게 쓴다는 점은 역설처럼 보입니다. 그러나 검증 경로가 분명해야 더 많은 업무를 에이전트에 맡길 수 있습니다. 기존 업무 위에 에이전트를 얹기만 하면 사람이 모든 결과를 다시 확인해야 해 비용이 줄지 않습니다.

국내 공공 부문도 이 순서를 따릅니다. 과기정통부는 공무원이 직접 행정 AI 에이전트를 만드는 'AI 사피엔스'를 출범하면서 AI 행정의 첫 단계로 '문서 통합'을 추진해 데이터부터 정비했습니다. 기업에서는 이 순서를 밟을 여력이 규모에 따라 갈립니다. 캐럿글로벌 AX센터는 중견·소기업이 전문 인력과 예산 제약으로 실행 공백이 두드러진다고 진단했습니다.

규제·보안·인력: 통제 체계가 확장의 병목입니다

AI 거버넌스를 맡을 조직을 갖춘 국내 기업은 절반이 안 됩니다. 캐럿글로벌 조사에서 AI 전담 조직을 둔 기업은 11.5%, 디지털·IT 조직이 거버넌스를 함께 맡는 곳은 35.2%로 합쳐도 46.7%입니다. 캐럿글로벌 AX센터는 거버넌스 주체가 없거나 CEO 혼자 의사결정하는 비중이 높을수록 전사 확산이 어려웠다며 내재화 3.7%의 원인을 기술보다 조직 요건에서 찾았습니다.

통제 공백은 현장에서 이미 드러납니다. CIO Korea가 전한 조사에서 에이전트를 쓰는 지식 근로자의 약 4분의 1은 에이전트를 비활성화한 적이 있었고 7%는 통제를 벗어난 에이전트를 멈춰야 했습니다. 앱다이렉트 CTO 앤디 센은 '섀도 에이전트는 섀도 IT의 최신 형태'라고 짚었습니다. 승인받지 않은 에이전트가 관리 범위 밖에서 불어나는 '에이전트 스프롤'은 운영 전환을 막는 직접적인 위험입니다.

그렇다고 금지가 답은 아닙니다. CIO Korea는 개발 가드레일과 지침을 만들고 에이전트의 내부 시스템·데이터 연결을 모니터링하며 IT가 들여다볼 수 있는 실험 환경에서 효과가 확인된 사례를 표준화해 전사로 넓히라고 권고합니다. 정승모 아이티센글로벌 AI이노베이션센터장의 말대로 '통제력은 혁신의 브레이크가 아니라 가속 페달'입니다.

시사점: AI 에이전트 운영 전환을 추적할 여섯 가지 지표

파일럿 병목이 국내외 공통 구조라면 기업과 정부가 끌어올려야 할 숫자는 도입률이 아니라 운영 전환율입니다.

기업 디지털 전략은 측정 설계, 업무 재설계, 거버넌스 순서로 짜야 합니다. 모델을 고르기 전에 도입 전 기준값을 고정하고 성공 KPI 1~3개와 금액 환산식을 정합니다. 에이전트를 붙일 업무 흐름은 사람 검증 절차와 함께 다시 설계하고 직원 개별 개발에는 확장 전에 가드레일과 표준화 경로를 깔아 둡니다.

산업 정책도 보급보다 전환을 겨냥해야 합니다. 정부는 「대한민국 인공지능행동계획」에 이어 '모두의 AI' 프로젝트로 개인 단위 AI 에이전트 보급을 내걸었습니다. 운영 전환율 37.6%를 유지한 채 시범 도입 이상만 글로벌 수준(62%)으로 늘리면 국내 부분 확산 이상은 23.3%가 됩니다. 시범 도입 이상 41.5%를 그대로 두고 전환율만 국내 생성형 AI 수준(57.6%)으로 올리면 23.9%입니다. 두 경로 모두 글로벌 확장 수준(23%)에 닿지만 시도 폭은 소프트웨어에 에이전트가 기본 탑재되면서 넓어지고 전환율은 업무 재설계와 거버넌스를 거쳐야 오릅니다. 정책 지원이 필요한 쪽은 전환율입니다.

과기정통부 기업정보화통계조사는 이미 AI 도입 유형·이용 목적·도입 효과를 묻습니다. 여기에 '에이전트 도입 단계(시범·부분 확산·전사)' 항목을 정례화하면 운영 전환율을 공식 통계로 추적할 수 있습니다. 중견·소기업 지원도 도입 바우처보다 데이터 정비와 거버넌스, 교육처럼 운영 전환에 필요한 항목에 맞추는 편이 효과적입니다.

Gartner는 2026년 말까지 기업용 애플리케이션 10개 중 4개에 에이전트가 들어가고 2028년까지 일상 업무 의사결정의 15%가 에이전트를 통해 자율적으로 이뤄질 것으로 봅니다. 프로젝트 40% 이상이 취소될 것이라는 전망과 함께 보면 기업 간 격차는 도입률보다 운영 전환율과 관리되는 에이전트 비중에서 벌어질 것입니다. 추적할 지표는 여섯 가지입니다.

  1. 운영 전환율: 시범 도입 이상 중 부분 확산 이상 비율. 국내 37.6%, 글로벌 37.1%
  2. 운영 이행률: 1년 동안 운영 단계까지 간 사례 비율. 카문다 조사 11%
  3. 확장 업무 기능 수: 확장 기업 비율이 10%를 넘는 업무 기능. McKinsey 조사 0개
  4. 업무 재설계 비율: 업무 흐름을 근본적으로 재설계한 기업 비율. 고성과 기업 55%, 그 외 20%
  5. 사람 개입률·건당 비용: 사람이 수정·승인한 처리 비중과 처리 1건당 비용. 도입 전 기준값부터 측정
  6. 관리되는 에이전트 비중: 등록·권한 관리 대상 에이전트의 비중. 직접 개발 16%, 통제 이탈 중단 7%

자주 묻는 질문

조사마다 AI 에이전트 도입률이 크게 다른 이유는 무엇인가요?무엇을 '도입'으로 세느냐가 다르기 때문입니다. 카문다 조사의 71%는 '사용 중', McKinsey의 62%는 '최소한 실험 중', 캐럿글로벌의 41.5%는 '시범 도입 이상'을 센 값입니다. 단계 정의를 맞추거나 운영 전환율 같은 비율로 비교해야 조사 간 차이에 휘둘리지 않습니다.
국내 전사 내재화 3.7%는 글로벌보다 크게 낮은 수치인가요?McKinsey의 23%는 '한 개 이상 기능에서 확장 중'이라 전사 내재화보다 넓은 개념입니다. 정의가 가까운 국내 부분 확산 이상 15.6%와 비교하면 차이는 7.4%p이고 시도 기업 중 확산 비율은 37.6%와 37.1%로 거의 같습니다.
직원이 직접 만든 AI 에이전트는 막아야 하나요?막기보다 관리하는 편이 낫습니다. AI를 쓰는 지식 근로자의 16%가 이미 에이전트를 직접 개발하고 있고 대부분 공식 승인 없이 시작됩니다. 가드레일·모니터링·실험 환경·표준화 경로를 갖추면 개별 실험이 전사 확산 후보가 됩니다.

같이 읽으면 좋은 것들