AI 반도체는 인공지능 모델의 학습과 추론을 빠르고 효율적으로 처리하기 위해 설계된 전용 연산 칩을 말합니다. GPU, NPU, 그리고 하이퍼스케일러가 자체 설계하는 커스텀 ASIC이 핵심 축인데요. 2025년 458억 달러였던 AI 가속기 시장은 2035년 7,462억 달러로 연평균 32% 성장이 전망됩니다. 2026년의 흐름을 한 문장으로 요약하면, 학습보다 추론(Inference)이 전체 AI 연산의 3분의 2를 차지하면서 "범용 칩에서 워크로드 전용 칩으로" 무게중심이 옮겨가고 있다는 것입니다. 이 글은 AI 반도체의 정의부터 HBM4 메모리, NPU, 커스텀 실리콘 전쟁, 국내 팹리스 동향, 기업 도입 전략까지 한 번에 정리합니다.
목차
- 반도체 한 칩을 직접 골라봤던 경험
- AI 반도체란 무엇인가
- 왜 GPU만으로는 부족해졌나: 추론의 시대
- HBM과 NPU, 그리고 커스텀 ASIC
- 커스텀 실리콘 전쟁: 하이퍼스케일러의 반격
- 한국 AI 반도체: 리벨리온·퓨리오사AI
- 기업 도입 실전 가이드
- FAQ
- 같이 읽으면 좋은 것들
반도체 한 칩을 직접 골라봤던 경험
작년 가을, 사내 챗봇 파일럿을 맡았을 때 가장 먼저 부딪힌 벽은 모델이 아니라 칩이었습니다. 30억~70억 파라미터 규모의 한국어 LLM을 사내에서 돌려보려는데, 클라우드 GPU 인스턴스 견적이 월 단위로 수천만 원을 넘기더군요. 학습은 한 번이지만 추론은 사용자가 질문할 때마다 계속 일어난다는 점, 바로 이 부분에서 비용이 눈덩이처럼 불어났습니다.
그때 인프라 담당 동료가 한 말이 기억에 남습니다. "우리가 사는 건 GPU가 아니라 메모리 대역폭이에요." 실제로 LLM 추론에서 병목은 연산 능력(FLOPS)보다 모델 가중치를 메모리에서 얼마나 빨리 읽어오느냐에 달려 있었습니다. 같은 GPU라도 HBM 용량과 대역폭에 따라 처리량이 두 배 가까이 갈렸고요. 결국 우리는 학습은 고성능 GPU로, 추론은 전력 효율이 높은 추론 전용 가속기로 분리하는 구조를 택했습니다. 비용은 절반 가까이 줄었습니다.
이 경험이 알려준 건 단순합니다. AI 반도체는 더 이상 "엔비디아 GPU 하나 사면 끝"인 영역이 아니라는 것. 워크로드에 맞춰 칩을 고르는 안목이 곧 비용 경쟁력이 되는 시대로 들어선 겁니다.
AI 반도체란 무엇인가
AI 반도체는 인공지능 연산, 특히 행렬 곱셈과 같은 대규모 병렬 연산을 효율적으로 수행하도록 특화된 프로세서입니다. 일반 CPU가 복잡한 순차 작업에 강하다면, AI 반도체는 수천 개의 단순 연산을 동시에 처리하는 데 최적화돼 있습니다.
산업이 이 영역에 집중하는 이유는 명확합니다. 생성형 AI가 폭발적으로 확산되면서 연산 수요가 기존 인프라가 감당할 수 있는 수준을 넘어섰기 때문입니다. 거대 언어모델 하나를 학습하는 데 수만 개의 가속기가 몇 주씩 돌아가고, 서비스 단계에서는 사용자 요청마다 추론이 일어납니다. 범용 칩으로는 전력도, 비용도, 속도도 맞출 수가 없었습니다.
AI 반도체는 크게 세 갈래로 나눌 수 있습니다.
| 유형 | 특징 | 주 용도 |
|---|---|---|
| GPU | 범용 병렬 연산, 생태계 성숙 | 대규모 모델 학습 |
| NPU | 신경망 전용, 저전력 설계 | 추론, 온디바이스 AI |
| 커스텀 ASIC | 특정 워크로드에 고정 최적화 | 하이퍼스케일러 추론 |
여기에 메모리 반도체인 HBM(High Bandwidth Memory)이 결합되면서 하나의 패키지를 이룹니다. 즉 AI 반도체를 이해하려면 연산 칩과 메모리를 같이 봐야 한다는 점이 중요한데요. 엔비디아(NVIDIA)가 압도적 점유율로 GPU 시장을 이끌고, 그 GPU에 올라가는 HBM은 SK하이닉스와 삼성전자(Samsung)가 공급하는 구조가 현재의 큰 그림입니다.
왜 GPU만으로는 부족해졌나: 추론의 시대
2024년까지 AI 반도체 이야기는 곧 학습용 GPU 이야기였습니다. 더 큰 모델을 더 빨리 학습시키는 경쟁이었죠. 그런데 2026년의 화두는 달라졌습니다. 추론(Inference)이 전체 AI 연산의 약 3분의 2를 차지하게 된 겁니다.
이유는 간단합니다. 모델은 한 번 학습하면 끝이지만, 그 모델로 만든 서비스는 사용자가 쓸 때마다 추론을 일으킵니다. 챗봇 한 번 답변, 이미지 한 장 생성, 코드 한 줄 자동완성마다 칩이 돌아갑니다. 사용자가 늘수록 추론 비용은 선형으로, 때로는 그 이상으로 증가합니다. 기업 입장에서 진짜 돈이 나가는 지점은 학습이 아니라 추론이었던 셈입니다.
추론은 학습과 요구사항이 다릅니다. 학습은 막대한 연산력과 정밀도를 요구하지만, 추론은 빠른 응답 속도, 낮은 지연시간, 그리고 무엇보다 전력 효율이 중요합니다. 그래서 범용 GPU 대신 추론에 특화된 칩을 쓰면 같은 작업을 훨씬 저렴하게 처리할 수 있게 됩니다. AWS는 자사 추론 칩 트레이니엄(Trainium) 3가 동급 GPU 대비 추론 비용을 최대 70% 줄인다고 밝히기도 했고요.
여기에 더해 소비자 기기에서도 변화가 일어나고 있습니다. 40 TOPS 이상의 NPU와 4비트 양자화 기술이 결합되면서, 70억 파라미터 모델이 스마트폰과 노트북에서 기본으로 돌아가는 수준에 도달했습니다. 클라우드에 모든 걸 보내지 않고 기기 안에서 처리하는 흐름, 이른바 온디바이스 AI도 추론 시대의 한 단면입니다.
HBM과 NPU, 그리고 커스텀 ASIC
AI 반도체를 제대로 이해하려면 세 가지 핵심 부품을 짚어야 합니다.
HBM4: 대역폭 전쟁의 중심
HBM은 여러 개의 D램을 수직으로 쌓아 데이터 통로를 극단적으로 넓힌 메모리입니다. LLM 추론의 병목이 메모리 대역폭에 있다 보니, HBM의 성능이 곧 AI 가속기의 성능을 좌우합니다.
2026년 들어 차세대 규격인 HBM4가 본격 양산에 들어갔습니다. SK하이닉스는 세계 최초로 HBM4 개발을 완료하고 양산 체제를 구축했는데, 이전 세대인 HBM3E 대비 대역폭이 2배, 전력 효율은 40% 향상됐습니다. 엔비디아의 차세대 플랫폼 '루빈(Rubin)' 물량을 상당 부분 확보한 것으로 알려졌고요. 삼성전자도 최고 속도 11.8Gbps의 HBM4 양산 출하를 시작하며 올해 HBM 매출을 전년 대비 3배 이상 늘릴 전망입니다.
엔비디아의 루빈 아키텍처는 CPU와 GPU를 통합하고 HBM4를 얹어 와트당 성능을 최대 10배 개선하는 것을 목표로 합니다. AMD 역시 MI400/MI450 '헬리오스(Helios)' 시스템에 초당 19.6테라바이트 대역폭의 HBM4를 탑재해 2026년 출시를 예고했습니다.
NPU: 저전력 추론의 해법
NPU(Neural Processing Unit)는 신경망 연산에 특화된 칩으로, GPU 대비 전력 소모가 낮고 경량화돼 있습니다. 데이터센터의 추론 가속부터 스마트폰의 온디바이스 AI까지 폭넓게 쓰입니다. 아직 GPU만큼 압도적인 기술 우위 기업이 나타나지 않은 분야라, 국내 팹리스에게는 오히려 선점 기회가 열려 있는 영역이기도 합니다.
커스텀 ASIC: 워크로드 전용 실리콘
ASIC은 특정 작업에 고정 최적화된 맞춤형 칩입니다. 범용성을 포기하는 대신 해당 워크로드에서는 전력과 비용 효율이 뛰어납니다. ASIC 시장 부문은 2026~2035년 연평균 약 43%라는 가장 가파른 성장률이 예상되는데, "범용 실리콘에서 워크로드 전용 실리콘으로"라는 근본적 전환이 그 배경입니다.
커스텀 실리콘 전쟁: 하이퍼스케일러의 반격
2026년 AI 반도체 시장의 가장 극적인 변화는 클라우드 거대 기업들이 엔비디아 의존에서 벗어나 자체 칩을 만들기 시작했다는 점입니다. 구글, 아마존, 마이크로소프트, 메타가 동시에 커스텀 실리콘을 들고 엔비디아를 포위하는 형국인데요.
가장 앞선 곳은 구글입니다. 구글은 자사 AI 추론 워크로드의 90% 이상을 엔비디아 GPU가 아닌 자체 칩 TPU에서 돌리고 있습니다. 최신 TPU v7 '아이언우드(Ironwood)'가 추론을 책임지고, 여기에 브로드컴과 마벨까지 끌어들여 차세대 추론 칩을 설계 중입니다.
마이크로소프트는 1월에 자체 칩 마이아(Maia) 200을 배치했습니다. TSMC 3나노 공정으로 제조됐고 1,400억 개 이상의 트랜지스터를 담았는데요. 마이크로소프트는 오픈AI의 추론 워크로드를 가능한 빨리 마이아로 옮길 계획이지만, 대형 모델 학습은 자체 칩이 따라잡을 때까지 엔비디아 GPU를 계속 쓰겠다고 밝혔습니다. 학습은 GPU, 추론은 커스텀 칩이라는 이원화 전략이 업계 표준처럼 자리잡는 모습입니다.
아마존은 트레이니엄 3로 동급 GPU 인스턴스 대비 추론 비용을 최대 70% 낮췄고, 메타는 자체 MTIA 칩에 더해 아마존의 칩까지 도입하며 아마존의 커스텀 실리콘 전략에 힘을 실었습니다.
이 모든 칩이 TSMC 3나노 공정에서 만들어집니다. 그런데 이 공정은 가동률 100%에, 수요가 공급을 약 3배 초과하는 상황입니다. 2026년 하이퍼스케일러의 설비투자(CapEx)는 합산 6,600~6,900억 달러에 달하고, 그중 75%가 AI 전용 인프라로 향합니다. 커스텀 ASIC 시장만 2026년 한 해 45% 성장이 예상됩니다.
기업 입장에서 이 변화가 주는 시사점은 분명합니다. 클라우드에서 AI를 쓸 때 선택지가 엔비디아 GPU 하나가 아니라는 것. 추론 워크로드라면 TPU, 트레이니엄, 마이아 같은 대안이 비용을 크게 낮춰줄 수 있습니다.
한국 AI 반도체: 리벨리온·퓨리오사AI
글로벌 거인들의 경쟁 속에서 한국 팹리스(설계 전문 기업)들도 추론 칩을 무기로 도전장을 냈습니다. 양대 축이 리벨리온(Rebellions)과 퓨리오사AI(FuriosaAI)입니다. 두 회사 모두 학습용 GPU 시장 대신, 아직 절대 강자가 없는 추론 칩 시장을 정조준했다는 점이 흥미로운데요.
리벨리온은 2024년 SK텔레콤의 AI 반도체 자회사 사피온과 합병을 완료하며 덩치를 키웠습니다. 대표 칩 'REBEL 쿼드'는 삼성전자 4나노 공정과 144GB HBM3E 메모리를 기반으로, 고대역폭 데이터 처리에 특화된 4칩 통합 아키텍처를 채택했습니다. 2026년 3월에는 JP모간 체이스를 IPO 글로벌 주관사로 선정하며 상장 채비에 들어갔습니다. 기업가치는 3조 원대로 평가받고 있고요.
퓨리오사AI는 다른 길을 택했습니다. TSMC 5나노 공정과 HBM3, CoWoS 패키징을 적용한 '레니게이드(RNGD)'로 전력 효율 중심의 구조를 들고 나왔습니다. 같은 추론 칩이라도 한쪽은 대역폭, 한쪽은 전력 효율에 방점을 찍은 셈입니다.
두 회사는 국산 LLM과 결합한 'LLM-NPU 연합'을 형성하며 엔비디아에 종속되지 않은 독립형 AI 인프라를 실증하고 있습니다. 주권 AI(Sovereign AI) 흐름과 맞물려, 국가와 기업이 자국 칩으로 자국 데이터를 처리하려는 수요가 이들에게 기회를 열어주고 있습니다.
기업 도입 실전 가이드
AI 반도체를 직접 다룬다는 게 막연하게 느껴질 수 있는데요. 기업이 실무에서 접근하는 순서를 단계별로 정리하면 다음과 같습니다.
1단계, 워크로드부터 나눕니다. 우리 조직이 모델을 학습시키는지, 이미 만들어진 모델을 서비스에 쓰는지(추론) 먼저 구분합니다. 대부분의 기업은 학습보다 추론 비중이 압도적으로 큽니다. 이 구분이 칩 선택의 출발점입니다.
2단계, 메모리 관점으로 봅니다. LLM을 쓴다면 모델 크기가 가속기의 메모리 용량 안에 들어가는지, 대역폭이 충분한지를 따집니다. 모델이 메모리에 다 안 들어가면 여러 칩에 쪼개야 하고, 그 순간 복잡도와 비용이 급증합니다.
3단계, 클라우드 대안을 비교합니다. 엔비디아 GPU 인스턴스만 보지 말고, 같은 클라우드 안의 추론 전용 칩(예: AWS 트레이니엄, 구글 TPU)을 함께 견적냅니다. 추론 워크로드라면 비용 차이가 수십 퍼센트 단위로 벌어집니다.
4단계, 온디바이스와 주권 AI를 검토합니다. 민감한 데이터를 외부로 보내기 어렵다면, 사내 서버에 추론 칩을 두거나 기기 안에서 SLM을 돌리는 온디바이스 방식, 혹은 국산 NPU 기반의 독립 인프라를 고려할 수 있습니다.
초보 조직이라면 처음부터 자체 인프라를 구축하기보다, 클라우드에서 추론 전용 인스턴스로 작게 시작해 비용 구조를 검증한 뒤 확장하는 편이 안전합니다. 실제 우리 팀도 그렇게 비용 곡선을 먼저 그려본 다음 의사결정을 했습니다.