AI 반도체 뉴스를 보다 보면 HBM이라는 단어가 자주 등장합니다.
엔비디아의 새로운 AI GPU뿐 아니라 SK하이닉스·삼성전자·마이크론의 기술 경쟁에서도 빠지지 않는 기술입니다.
그런데 HBM은 도대체 어떤 메모리이기에 AI 시대의 핵심 기술로 주목받는 걸까요?
이번 글에서는 HBM이 무엇인지부터 구조와 작동 원리, 일반 메모리와의 차이, AI GPU에 필요한 이유와 HBM4까지 쉽게 살펴보겠습니다.
📌 목차
HBM은 어떤 메모리일까?
HBM은 High Bandwidth Memory, 우리말로 고대역폭 메모리라는 뜻입니다.
여러 개의 DRAM을 위로 쌓아 만든 고성능 메모리로, 한 번에 많은 데이터를 전달하는 데 강합니다.
여기서 대역폭(Bandwidth)은 일정한 시간 동안 얼마나 많은 데이터를 전달할 수 있는지를 뜻합니다.
도로에 비유하면 차 한 대가 얼마나 빨리 달리는지가 아니라 동시에 얼마나 많은 차가 지나갈 수 있는지에 가깝습니다.
일반 메모리와 무엇이 다를까?
PC와 일반 서버에서는 DDR 메모리가 널리 사용됩니다.
HBM은 여러 개의 DRAM을 수직으로 쌓고 GPU 같은 고성능 프로세서 가까이에 배치하는 구조입니다.
| 구분 | DDR | HBM |
|---|---|---|
| 주요 용도 | PC·일반 서버 | AI 가속기·HPC |
| 구조 | 메모리 모듈 중심 | 여러 DRAM 수직 적층 |
| 배치 | 프로세서와 별도 배치 | GPU 가까이에 배치 |
| 특징 | 범용성이 높음 | 높은 대역폭 |
HBM이 무조건 DDR보다 좋은 메모리라는 의미는 아닙니다.
사용하는 목적과 필요한 성능이 서로 다릅니다.
GDDR과는 무엇이 다를까?
GDDR은 그래픽카드의 GPU가 사용하는 고속 메모리입니다. 보통 여러 개의 메모리 칩을 GPU 주변에 배치합니다.
반면 HBM은 여러 개의 DRAM을 위로 쌓아 더 많은 데이터를 한꺼번에 전달하는 데 유리한 구조입니다.
GDDR: 일반 그래픽카드 등에 널리 사용
HBM: AI 가속기·고성능 컴퓨팅처럼 높은 대역폭이 필요한 분야에 활용
HBM은 왜 위로 쌓을까?
HBM의 가장 큰 특징은 여러 개의 DRAM을 위로 쌓는 구조입니다.
쌓은 메모리는 TSV(Through Silicon Via)라는 기술을 이용해 위아래로 연결합니다.
💡 TSV란?
반도체 칩을 수직으로 관통하는 작은 연결 통로를 만들어 쌓여 있는 칩끼리 전기 신호를 주고받게 하는 기술입니다.
이런 구조를 사용하면 제한된 공간에 여러 개의 메모리를 배치하면서 많은 데이터를 주고받을 수 있습니다.
8단·12단은 무엇이 다를까?
8단과 12단은 쌓아 올린 DRAM 다이의 수를 뜻합니다.
8단: DRAM 다이 8개 적층
12단: DRAM 다이 12개 적층
같은 세대와 비슷한 조건이라면 더 많이 쌓을수록 한 스택에 더 큰 메모리 용량을 구현하는 데 유리합니다.
다만 12단이라고 모든 성능이 무조건 높은 것은 아닙니다. 적층 수가 늘어날수록 두께·열·수율 등 제조 과정에서 해결해야 할 문제도 커집니다.
만들기 어려운 이유
여러 개의 DRAM을 쌓아 연결하는 만큼 제조 과정도 까다롭습니다.
적층 과정에서는 열과 전력, 수율을 관리해야 하고, 완성된 메모리를 GPU와 연결하는 첨단 패키징 기술도 필요합니다.
따라서 성능뿐 아니라 얼마나 높은 수율로 안정적으로 생산하느냐도 중요합니다.
AI GPU에 필요한 이유
AI GPU는 많은 데이터를 가져와 수많은 계산을 동시에 처리합니다.
GPU가 아무리 빨라도 메모리에서 데이터가 늦게 전달되면 계산 능력을 충분히 활용하기 어렵습니다.
그래서 AI GPU에는 많은 데이터를 한꺼번에 전달할 수 있는 HBM이 필요합니다.
AI 모델이 커지고 처리해야 할 데이터가 늘면서 메모리 용량과 대역폭도 AI 성능을 좌우하는 중요한 요소가 되고 있습니다.
엔비디아 Rubin GPU는 최대 288GB HBM4와 22TB/s의 메모리 대역폭을 제공합니다.
용량과 대역폭은 다르다
AI 반도체에서 메모리를 볼 때는 용량과 대역폭의 차이를 알아두면 좋습니다.
용량: 얼마나 많은 데이터를 저장할 수 있는지
대역폭: 일정한 시간 동안 얼마나 많은 데이터를 전달할 수 있는지
용량이 커도 데이터를 GPU로 전달하는 속도가 충분하지 않으면 GPU가 데이터를 기다리는 상황이 생길 수 있습니다.
반대로 대역폭이 높더라도 필요한 데이터를 담을 용량이 부족하면 대규모 AI 작업에 제약이 생길 수 있습니다.
따라서 AI 가속기에서는 용량과 대역폭을 함께 높이는 것이 중요합니다.
GPU와 연결하는 방법
HBM을 생산했다고 바로 AI GPU에 사용할 수 있는 것은 아닙니다.
GPU와 여러 개의 HBM을 가까이 배치하고 서로 데이터를 주고받을 수 있도록 하나의 패키지로 연결하는 과정이 필요합니다.
여기에서 첨단 패키징 기술이 사용됩니다.
대표적인 기술이 TSMC의 CoWoS(Chip on Wafer on Substrate)입니다.
고성능 AI 가속기에서는 메모리 자체의 성능뿐 아니라 이를 프로세서와 연결하는 패키징 기술도 중요합니다.
🔎 AI GPU는 어떻게 만들어질까?｜엔비디아·TSMC·HBM 공급망까지
HBM3E와 HBM4는 무엇이 다를까?
현재는 HBM3E에서 HBM4로 세대가 바뀌고 있습니다.
HBM4의 핵심 변화는 데이터가 오가는 통로가 더 넓어졌다는 것입니다.
마이크론 제품 기준으로 HBM3E는 1,024비트 인터페이스와 1.2TB/s 이상의 대역폭을 제공하는 반면, HBM4는 2,048비트 인터페이스와 2.8TB/s 이상의 대역폭을 제공합니다.
실제 엔비디아 Rubin GPU도 HBM4를 적용해 메모리 대역폭이 Blackwell의 8TB/s에서 최대 22TB/s로 약 2.8배 증가했습니다.
SK하이닉스·삼성전자·마이크론 경쟁
고대역폭 메모리 시장에서는 SK하이닉스·삼성전자·마이크론이 경쟁하고 있습니다.
2026년에는 경쟁의 중심이 HBM3E에서 HBM4로 이동했습니다.
SK하이닉스는 2분기 HBM4 대량 출하를 시작했고, 삼성전자는 2월 HBM4 양산과 상용 출하를 시작했습니다. 마이크론도 현재 36GB 12단 HBM4를 양산하고 있습니다.
경쟁은 이미 HBM4E로 이어지고 있습니다. 삼성전자는 5월, SK하이닉스는 6월 각각 12단 HBM4E 샘플을 주요 고객에게 공급했습니다.
여기에 맞춤형 메모리도 새로운 경쟁 요소로 떠오르고 있습니다. 정해진 규격만 공급하는 것이 아니라 고객의 AI 가속기 구조에 맞춰 용량·속도·전력 특성·인터페이스 등을 최적화하는 방식입니다.
삼성전자는 2027년부터 고객별 Custom HBM 샘플링을 시작할 계획이라고 밝혔습니다. SK하이닉스 역시 AI 모델이 발전하면서 메모리 경쟁이 칩 자체를 넘어 시스템 구조와 패키징, 고객과의 공동 개발로 확대되고 있다고 설명하고 있습니다.
➡ SK하이닉스 HBM4 공식 자료
➡ 삼성전자 HBM4 공식 자료
➡ SK하이닉스 HBM4E 공식 자료
HBM 공급이 왜 중요할까?
AI 가속기를 만들려면 GPU뿐 아니라 메모리와 첨단 패키징 기술도 필요합니다.
GPU 생산량이 늘어도 필요한 고대역폭 메모리의 공급이 따라가지 못하면 완성할 수 있는 AI 가속기의 수량도 제한될 수 있습니다.
따라서 기술 경쟁에서는 성능뿐 아니라 수율과 생산능력, 안정적인 공급 능력도 중요합니다.
✨ 뉴스잇슈 한 줄 결론
HBM은 여러 개의 DRAM을 쌓아 많은 데이터를 한꺼번에 전달하도록 만든 고대역폭 메모리입니다. AI GPU의 계산 능력이 높아질수록 이를 뒷받침할 메모리 성능도 함께 필요하기 때문에 HBM의 중요성도 커지고 있습니다.
※ 본 글은 작성일 기준 공식 자료를 바탕으로 작성했으며, 일부 초안과 이미지는 생성형 AI를 활용했습니다. 게시 전 내용을 확인·수정했으며, 자세한 내용은 콘텐츠 운영 안내를 확인해 주세요.
멋져요
감사합니다~