AI 산업이 커지면서 가장 많이 언급되는 반도체 기업 중 하나가 엔비디아입니다.
그래서 엔비디아 GPU도 당연히 엔비디아 공장에서 직접 생산한다고 생각하기 쉽습니다.
“엔비디아가 GPU를 직접 만드는 회사 아닌가?”
실제로는 그렇지 않습니다.
엔비디아는 AI GPU의 핵심 기술을 설계하지만, GPU 하나가 완성돼 데이터센터에서 작동하기까지는 여러 반도체·메모리·제조 기업의 기술이 필요합니다.
그렇다면 엔비디아가 설계한 GPU는 어디에서 생산되고, HBM은 언제 결합되며, 어떻게 AI 서버까지 만들어지는 걸까요?
이번 글에서는 AI GPU가 설계부터 생산·패키징을 거쳐 실제 AI 데이터센터에 설치되기까지의 과정과 그 안에서 엔비디아·TSMC·메모리 기업들이 각각 어떤 역할을 하는지 순서대로 살펴보겠습니다.
📌 목차
AI GPU란?
AI GPU를 이해하려면 먼저 반도체가 무엇인지 간단히 알아두면 좋습니다.
💡 반도체란?
스마트폰·컴퓨터·AI 서버 같은 전자기기에서 계산하거나 데이터를 저장·처리하는 데 사용되는 핵심 전자부품입니다. CPU·GPU·메모리 등이 대표적인 반도체 칩입니다.
GPU(Graphics Processing Unit)는 이런 반도체 칩 가운데 많은 계산을 동시에 처리하는 데 강한 프로세서입니다. 원래는 게임이나 영상의 그래픽을 빠르게 처리하기 위해 사용됐지만, AI가 발전하면서 활용 범위가 크게 넓어졌습니다.
AI는 학습과 추론 과정에서 엄청나게 많은 계산을 반복해야 합니다. GPU는 이런 계산을 여러 개 동시에 처리할 수 있어 생성형 AI를 학습시키고 실제 답변을 만들어내는 데 적합합니다.
💡 생성형 AI란?
사용자의 질문이나 요청을 바탕으로 글·이미지·영상·음성·코드 같은 새로운 콘텐츠를 만들어내는 AI입니다. ChatGPT가 대표적인 예입니다.
하지만 GPU가 아무리 빨라도 필요한 데이터를 제때 받아오지 못하면 성능을 충분히 활용하기 어렵습니다.
그래서 고성능 AI 시스템에서는 GPU와 함께 HBM이라는 빠른 메모리가 사용되고, GPU와 HBM을 효율적으로 연결하는 첨단 패키징 기술도 중요합니다. 여러 GPU를 함께 사용할 때는 서로 데이터를 빠르게 주고받을 수 있는 고속 네트워크도 필요합니다.
💡 쉽게 생각하면
GPU: AI 계산을 담당
HBM: GPU가 사용할 데이터를 빠르게 전달
첨단 패키징: GPU와 HBM을 가깝고 빠르게 연결
고속 네트워크: 여러 GPU와 서버를 연결
즉, AI 성능은 GPU 하나만으로 결정되는 것이 아니라 메모리·패키징·네트워크가 얼마나 효율적으로 연결되는지도 중요합니다.
AI GPU는 어떻게 만들어질까?
AI GPU는 설계가 끝났다고 바로 사용할 수 있는 제품이 아닙니다. GPU 칩을 생산하고 HBM과 결합한 뒤 서버로 조립해 데이터센터에 설치하는 과정을 거칩니다.
전체 흐름을 간단히 보면 다음과 같습니다.
GPU 설계 → GPU 칩 생산 → HBM 생산 → 첨단 패키징 → AI 서버·랙 조립 → AI 데이터센터 설치
이후 각 단계에서 어떤 기업과 기술이 참여하는지 하나씩 살펴보겠습니다.
① 엔비디아가 GPU를 설계
엔비디아의 핵심 역할은 AI GPU를 설계하고 이를 활용할 수 있는 기술과 소프트웨어를 개발하는 것입니다.
대표적으로 다음과 같은 부분을 담당합니다.
- GPU의 구조와 연산 방식 설계
- AI 연산 기술 개발
- 여러 GPU를 빠르게 연결하는 기술
- GPU를 활용할 수 있게 해주는 CUDA 소프트웨어
- 여러 GPU를 묶어 사용하는 AI 서버·랙 시스템 설계
중요한 점은 엔비디아가 GPU를 설계하지만 직접 반도체 공장에서 생산하지는 않는다는 것입니다.
엔비디아가 설계한 GPU의 실제 생산은 TSMC 같은 전문 반도체 제조기업이 담당합니다.
예를 들어 NVIDIA Blackwell GPU는 TSMC의 맞춤형 4NP 공정을 이용해 생산됩니다. Blackwell에는 두 개의 GPU 다이를 초고속으로 연결해 하나의 GPU처럼 작동하도록 만든 제품도 있습니다.
💡 팹리스(Fabless)란?
반도체 생산공장을 직접 운영하지 않고 반도체 설계에 집중하며 실제 생산은 전문 제조기업에 맡기는 회사를 말합니다. 엔비디아가 대표적인 팹리스 기업입니다.
💡 다이(Die)란?
반도체 웨이퍼에서 잘라낸 실제 반도체 칩 조각을 말합니다.
② TSMC가 첨단 공정으로 생산
엔비디아가 GPU 설계를 완성하면 실제 반도체 칩을 만드는 과정은 TSMC 같은 파운드리 기업이 담당합니다.
💡 파운드리(Foundry)란?
엔비디아처럼 반도체를 설계하는 회사의 주문을 받아 실제 반도체 칩을 생산하는 전문기업입니다. TSMC가 대표적입니다.
반도체는 처음부터 작은 칩 모양으로 만드는 것이 아닙니다. 먼저 웨이퍼(Wafer)라는 얇고 둥근 실리콘 원판 위에 아주 미세한 회로를 여러 단계에 걸쳐 만들어냅니다.
💡 웨이퍼란?
반도체 칩을 만들기 위한 얇고 둥근 실리콘 원판입니다. 하나의 웨이퍼 위에 여러 개의 반도체 칩을 동시에 만든 뒤 각각 잘라 사용합니다.
대표적인 제조 과정은 다음과 같습니다.
- 노광: 빛을 이용해 웨이퍼에 미세한 회로 모양을 새김
- 식각: 필요하지 않은 부분을 제거해 회로 구조를 만듦
- 증착: 웨이퍼 위에 매우 얇은 물질층을 형성
- 배선: 만들어진 트랜지스터들이 서로 신호를 주고받도록 연결
- 검사: 정상적으로 작동하는 칩인지 확인
이런 공정을 여러 차례 반복하면서 웨이퍼 위에 수많은 트랜지스터와 회로가 만들어집니다.
③ AI GPU에는 HBM이 필요하다
GPU가 아무리 빠르게 계산할 수 있어도 필요한 데이터를 제때 전달받지 못하면 성능을 충분히 발휘하기 어렵습니다.
이때 중요한 역할을 하는 것이 HBM(High Bandwidth Memory·고대역폭 메모리)입니다.
HBM은 여러 개의 메모리 칩을 수직으로 쌓아 많은 데이터를 빠르게 전달할 수 있도록 만든 고성능 메모리입니다.
쉽게 생각하면 GPU가 AI 연산을 처리하는 작업자라면, HBM은 작업에 필요한 데이터를 빠르게 가져다주는 공급 통로와 비슷합니다.
AI 모델이 커질수록 처리해야 할 데이터도 많아지기 때문에 HBM의 성능도 AI GPU의 전체 성능에 중요한 영향을 미칩니다.
현재 AI용 HBM은 SK하이닉스·삼성전자·마이크론 등이 개발·공급하고 있으며, 차세대 HBM 시장을 놓고 경쟁하고 있습니다.
💡 쉽게 생각하면
GPU: AI에 필요한 계산을 빠르게 처리
HBM: GPU가 계산할 데이터를 빠르게 공급
따라서 최신 AI GPU의 성능을 이해하려면 GPU뿐 아니라 어떤 HBM이 함께 사용되는지도 중요합니다.
④ GPU와 HBM을 첨단 패키징으로 연결
앞에서 만든 GPU와 HBM은 서로 다른 반도체이기 때문에, 대량의 데이터를 빠르게 주고받을 수 있도록 연결해야 합니다.
이때 사용되는 대표적인 기술이 TSMC의 CoWoS(Chip on Wafer on Substrate)입니다.
💡 CoWoS란?
GPU와 여러 개의 HBM을 하나의 패키지 안에 배치해 서로 빠르게 데이터를 주고받을 수 있도록 연결하는 첨단 패키징 기술입니다.
단순히 반도체를 포장하는 것이 아니라 GPU와 HBM 사이의 데이터 이동 속도와 전력 효율에 영향을 주는 중요한 공정입니다.
AI GPU 수요가 증가하면서 CoWoS 같은 첨단 패키징 생산 능력도 AI 반도체 공급을 결정하는 주요 요소가 되고 있습니다.
⑤ AI 서버와 랙으로 조립
GPU와 HBM이 하나의 패키지로 완성되면 다음 단계는 AI 서버를 만드는 과정입니다.
AI 서버에는 GPU뿐 아니라 다음과 같은 부품과 장비가 함께 들어갑니다.
- CPU: 서버 전체의 작업을 관리
- 메모리·SSD: 데이터 처리와 저장
- 네트워크 장비: 여러 GPU와 서버를 빠르게 연결
- 전원장치: 시스템에 필요한 전력 공급
- 냉각 시스템: GPU에서 발생하는 많은 열을 제거
여러 AI 서버와 네트워크·전력·냉각 장비를 하나의 구조에 모아 구성한 것을 랙(Rack) 시스템이라고 합니다.
최근에는 GPU 한두 개를 사용하는 수준을 넘어 수십 개의 GPU를 고속으로 연결한 랙 단위 AI 시스템이 중요해지고 있습니다.
예를 들어 NVIDIA의 Vera Rubin NVL72는 GPU와 CPU, NVLink 스위치, 네트워크와 액체냉각 시스템 등을 하나의 랙 규모로 구성합니다.
이러한 AI 서버와 랙을 실제 제품으로 만드는 과정에는 Foxconn, Quanta, Wistron 등 여러 시스템 제조기업이 참여합니다.
⑥ AI 데이터센터에 설치
완성된 AI 서버와 랙은 AI 서비스를 실제로 운영하는 데이터센터에 설치됩니다.
하지만 서버를 가져다 놓는 것만으로 AI를 운영할 수 있는 것은 아닙니다. 수많은 GPU를 동시에 가동하려면 이를 뒷받침하는 대규모 인프라가 필요합니다.
- 전력 설비: 많은 AI 서버에 안정적으로 전력을 공급
- 냉각 설비: GPU와 서버에서 발생하는 열을 제거
- 고속 네트워크: 수많은 서버가 빠르게 데이터를 주고받도록 연결
- 스토리지: AI 학습과 서비스에 필요한 대규모 데이터를 저장
- 데이터센터 시설: 서버 설치 공간과 각종 전력·통신 설비 구축
특히 AI 서버의 성능과 집적도가 높아지면서 충분한 전력을 확보하고 발생하는 열을 처리하는 능력이 데이터센터 구축의 중요한 조건이 되고 있습니다.
NVIDIA는 GPU뿐 아니라 CPU·네트워크·서버·냉각 등을 데이터센터 규모로 연결한 AI 인프라를 ‘AI Factory’라는 개념으로 설명하고 있습니다.
💡 AI Factory란?
많은 AI 서버와 네트워크·스토리지 등을 연결해 AI 모델을 학습하고 실제 AI 서비스를 운영하는 대규모 컴퓨팅 인프라를 의미합니다.
이 단계까지 거치면 엔비디아에서 설계한 GPU가 실제 생성형 AI의 학습과 추론에 사용되는 AI 인프라의 일부로 작동하게 됩니다.
AI GPU가 비싼 이유
AI GPU는 첨단 미세공정, HBM, 첨단 패키징처럼 비용이 높은 기술과 부품이 함께 필요하기 때문에 가격이 높습니다.
또 실제 AI 서비스를 운영하려면 GPU뿐 아니라 서버·네트워크·전력·냉각 시설까지 구축해야 합니다.
💡 구분하면
AI GPU 가격: GPU와 HBM 등이 결합된 가속기 가격
AI 인프라 비용: GPU + 서버 + 네트워크 + 전력·냉각 등 전체 구축 비용
즉, AI 데이터센터에 들어가는 비용이 모두 GPU 가격인 것은 아닙니다.
AI GPU 공급은 어디에서 부족해질까?
AI GPU는 여러 단계를 거쳐 완성되기 때문에 한 곳의 생산능력만 부족해도 전체 공급이 늦어질 수 있습니다.
| 공급망 | 부족하면 |
|---|---|
| GPU 생산 | GPU 칩 공급 감소 |
| HBM | 고성능 메모리 부족 |
| 첨단 패키징 | GPU와 HBM 결합 지연 |
| 전력·냉각 | 데이터센터 확장 지연 |
특히 AI 수요가 빠르게 늘면서 HBM과 CoWoS 같은 첨단 패키징 생산능력도 중요해졌습니다.
즉, AI GPU 공급은 GPU 칩 하나만으로 결정되는 것이 아니라 HBM·첨단 패키징·데이터센터 인프라가 모두 뒷받침되어야 합니다.
✨ 뉴스잇슈 한 줄 결론
AI GPU는 엔비디아가 설계한다고 해서 엔비디아 혼자 만드는 제품이 아닙니다. GPU 설계부터 TSMC의 첨단 제조, HBM, 첨단 패키징, 서버·네트워크와 데이터센터 인프라까지 연결돼야 실제 AI 컴퓨팅 시스템으로 완성됩니다.
※ 본 글은 작성일 기준 공식 자료를 바탕으로 작성했으며, 반도체 기술과 공급망은 제품 세대에 따라 달라질 수 있습니다. 일부 콘텐츠는 생성형 AI를 활용했으며, 자세한 내용은 콘텐츠 운영 안내를 확인해 주세요.