HBM (고대역폭 메모리, High Bandwidth Memory)
개요
HBM(High Bandwidth Memory, 고대역폭 메모리)은 여러 개의 DRAM(Dynamic Random Access Memory) 칩을 수직으로 적층하고, 이를 TSV(Through Silicon Via)라는 통로로 연결하여 데이터 전송 속도를 획기적으로 높인 고성능 메모리 솔루션이다.
기존의 GDDR(Graphics Double Data Rate) 메모리가 PCB(인쇄회로기판) 상에서 프로세서 주변에 수평으로 배치되어 데이터 통로(Bus Width) 확장에 물리적 한계가 있었던 것과 달리, HBM은 수직 적층 구조를 통해 데이터 통로를 수천 개로 늘려 '병목 현상'을 해결했다. 특히 거대 언어 모델(LLM)과 같은 생성형 AI의 등장으로 처리해야 할 데이터 양이 폭증하면서, GPU/NPU(신경망 처리 장치)의 연산 속도를 뒷받침할 수 있는 HBM은 현대 고성능 컴퓨팅(HPC)의 필수 요소가 되었다.
동작 원리 및 구조
HBM의 핵심은 TSV(Through Silicon Via, 실리콘 관통 전극) 기술이다. TSV는 칩에 수천 개의 미세한 구멍을 뚫어 상단 칩과 하단 칩을 전극으로 직접 연결하는 기술로, 기존의 와이어 본딩(Wire Bonding) 방식보다 데이터 이동 거리를 단축하고 전송 효율을 극대화한다.
물리적 구조는 최하단의 베이스 다이(Base Die/Logic Die) 위에 여러 층의 DRAM 칩이 쌓이는 형태이다. 베이스 다이는 적층된 DRAM 칩들을 제어하고 프로세서와의 통신을 중재하는 컨트롤러 역할을 수행하며, 이는 HBM 전체 스택의 두뇌와 같은 기능을 한다.
이렇게 적층된 HBM 스택은 인터포저(Interposer)라는 중간 기판 위에 GPU나 NPU와 같은 프로세서와 함께 배치된다. 인터포저는 프로세서와 메모리 사이의 미세 회로를 연결하는 가교 역할을 하며, 이를 통해 매우 짧은 거리에서 초고속 데이터 교환이 가능해진다.
[표 1] 일반 DRAM(GDDR) vs HBM 구조 비교
| 구분 |
일반 DRAM (GDDR) |
HBM (High Bandwidth Memory) |
| 배치 방식 |
프로세서 주변 수평 배치 |
프로세서 옆 수직 적층 배치 |
| 연결 기술 |
PCB 패턴 및 와이어 본딩 |
TSV (실리콘 관통 전극) |
| 데이터 통로(I/O) |
상대적으로 좁음 (32~64bit) |
매우 넓음 (1,024bit 이상) |
| 물리적 면적 |
넓은 PCB 공간 필요 |
매우 좁은 면적 점유 |
| 전송 속도 |
개별 핀의 클럭 속도에 의존 |
다수의 통로를 통한 병렬 전송에 의존 |
주요 특징 및 장점
- 압도적인 데이터 대역폭: I/O(Input/Output) 핀 수를 획기적으로 늘려 한 번에 전송할 수 있는 데이터 양을 극대화했다. 이는 고해상도 그래픽 처리나 대규모 파라미터를 가진 AI 모델 연산 시 발생하는 메모리 병목 현상을 제거한다.
- 전력 효율성 향상: 데이터 전송 경로가 짧아지고, 낮은 전압에서 동작하도록 설계되어 단위 데이터 전송당 소비 전력이 기존 GDDR 대비 낮다.
- 공간 최적화: 칩을 위로 쌓아 올리는 구조 덕분에 메인보드에서 차지하는 면적을 크게 줄일 수 있어, 시스템 전체의 소형화 및 고밀도 설계가 가능하다.
HBM의 세대별 발전 과정
HBM은 세대를 거듭하며 적층 단수를 높이고, 전송 속도와 전력 효율을 개선해 왔다. 특히 HBM3E 단계에 이르러서는 초당 테라바이트(TB/s) 단위의 대역폭을 구현하고 있다.
[표 2] HBM 세대별 사양 및 성능 비교 (추정치 포함)
| 세대 |
주요 특징 |
적층 단수 (최대) |
데이터 전송 속도 (Pin당) |
주요 적용 사례 |
| HBM1 |
최초의 표준 HBM |
4단 / 8단 |
약 1.2 Gbps |
초기 HPC, 특수 가속기 |
| HBM2 |
전력 효율 및 속도 개선 |
8단 |
약 2.0 Gbps |
AI 가속기, 고성능 GPU |
| HBM2E |
대역폭 확장 (Extended) |
8단 / 12단 |
약 3.2 Gbps |
A100 등 AI 서버 |
| HBM3 |
초고속 인터페이스 도입 |
12단 |
약 6.4 Gbps |
H100 등 최신 AI 가속기 |
| HBM3E |
성능 및 용량 극대화 |
12단 / 16단 |
약 9.2 Gbps+ |
H200, B100 등 차세대 AI |
주요 활용 분야
- 생성형 AI (LLM) 학습 및 추론: GPT-4와 같은 거대 언어 모델은 수천억 개의 파라미터를 실시간으로 읽고 써야 한다. HBM은 GPU의 연산 속도에 맞춰 데이터를 공급함으로써 학습 시간을 단축하고 추론 응답 속도를 높인다.
- 슈퍼컴퓨팅 (HPC): 기상 예측, 분자 구조 분석, 핵융합 시뮬레이션 등 방대한 양의 데이터를 처리하는 과학 계산 분야에서 필수적으로 사용된다.
- 고성능 서버 및 데이터센터: 가상화 서버나 빅데이터 분석 플랫폼에서 데이터 처리 지연 시간(Latency)을 최소화하기 위해 도입된다.
제조사별 기술 경쟁 및 공정 분석
현재 HBM 시장은 SK하이닉스, 삼성전자, 마이크론의 3강 체제로 운영되고 있으며, 특히 적층 시 칩 사이를 채우는 패키징 공정이 핵심 경쟁력이다.
칩을 쌓을 때 발생하는 열을 관리하고 접합 강도를 높이기 위해 서로 다른 공법이 사용된다.
- TC-NCF (Thermal Compression Non-Conductive Film): 칩 사이에 비전도성 필름(NCF)을 넣고 열과 압력을 가해 압착하는 방식이다. 칩 휨(Warpage) 현상을 억제하는 데 유리하며, 고단 적층 시 칩 간 간격을 정밀하게 제어할 수 있어 삼성전자가 주력으로 사용한다.
- MR-MUF (Mass Reflow Molded Underfill): 칩을 쌓은 후 액체 형태의 보호재(MUF)를 한꺼번에 주입하여 굳히는 방식이다. 공정 시간이 짧고, 액체 보호재가 칩 사이의 빈틈을 촘촘히 메워 열 방출 효율이 매우 뛰어나다. SK하이닉스가 HBM3 및 HBM3E에서 경쟁 우위를 점하게 한 핵심 기술이다.
[표 4] 패키징 공정 요약 비교
| 항목 |
TC-NCF |
MR-MUF |
| 접합 방식 |
비전도성 필름 압착 |
액체 보호재 주입 및 경화 |
| 주요 장점 |
칩 휨 억제, 정밀한 간격 제어 |
우수한 방열 성능, 공정 시간 단축 |
| 주요 단점 |
공정 시간이 길고 열 방출에 불리 |
고단 적층 시 칩 휨 제어 난이도 상승 |
| 주력 업체 |
삼성전자 |
SK하이닉스 |
제조사별 현황
- SK하이닉스: MR-MUF 기술을 앞세워 HBM3 및 HBM3E 시장에서 선도적인 지위를 확보하고 있으며, NVIDIA와의 강력한 파트너십을 유지하고 있다.
- 삼성전자: 압도적인 생산 능력과 TC-NCF 공정 고도화를 통해 추격 중이며, HBM과 파운드리, 패키징을 한 번에 제공하는 '턴키(Turn-key)' 전략을 추진하고 있다.
- 마이크론: 후발 주자이나 최신 공정 노드(1$\beta$ 등)를 빠르게 적용하여 전력 효율성이 높은 HBM3E 제품을 출시하며 점유율을 확대하고 있다.
HBM이 고성능 가속기를 위한 메모리라면, LPDDR5X는 모바일 및 온디바이스 AI를 위한 저전력 메모리이다.
[표 3] HBM vs LPDDR5X 특성 비교
| 구분 |
HBM (High Bandwidth Memory) |
LPDDR5X (Low Power DDR) |
| 주 목적 |
최대 대역폭 및 성능 극대화 |
저전력 소비 및 효율성 |
| 구조 |
3D 수직 적층 (TSV) |
2D 평면 배치 |
| 연결 방식 |
인터포저를 통한 프로세서 밀착 |
PCB 패턴을 통한 연결 |
| 대역폭 |
매우 높음 (TB/s 급) |
상대적으로 낮음 (GB/s 급) |
| 가격/원가 |
매우 높음 (고난도 공정) |
상대적으로 낮음 (범용 공정) |
| 주요 타겟 |
AI 가속기, 서버 GPU |
스마트폰, 노트북, 온디바이스 AI |
한계점 및 향후 전망
한계점
- 제조 원가 및 수율: TSV 공정과 복잡한 패키징 과정으로 인해 일반 DRAM보다 생산 단가가 매우 높으며, 단 하나의 칩만 불량이어도 전체 스택을 폐기해야 하므로 수율 관리가 어렵다.
- 발열 문제: 칩을 수직으로 쌓기 때문에 중심부의 열이 외부로 방출되기 어려운 구조적 한계가 있다. 이는 성능 저하(Throttling)의 원인이 된다.
향후 전망 및 HBM4
차세대 표준인 HBM4부터는 단순한 성능 개선을 넘어 구조적인 패러다임 변화가 예상된다.
- 베이스 다이(Base Die)의 파운드리 협력: 기존에는 메모리 업체가 베이스 다이를 직접 제조했으나, HBM4부터는 TSMC와 같은 파운드리 업체가 최첨단 로직 공정을 적용해 베이스 다이를 제작한다. 이를 통해 연산 성능을 높이고 전력 소비를 획기적으로 줄일 수 있다.
- 적층 단수의 극한 확장: 16단을 넘어 20단, 24단까지 적층하여 단일 패키지당 용량을 극대화함으로써, 더 거대한 AI 모델을 메모리에 상주시켜 처리 속도를 높일 전망이다.
- 하이브리드 본딩(Hybrid Bonding) 도입: 기존의 범프(Bump)를 통한 연결 방식 대신, 구리(Cu)와 구리를 직접 접합하는 하이브리드 본딩 기술이 도입된다. 이는 칩 사이의 간격을 없애 전체 높이를 줄이면서도 데이터 전송 효율과 방열 성능을 동시에 개선하는 핵심 기술이 될 것이다.
- 맞춤형(Custom) HBM 시대: 고객사(NVIDIA, 구글, 메타 등)의 특정 AI 알고리즘에 최적화된 기능을 베이스 다이에 구현하는 '커스텀 HBM' 형태로 진화하여, 범용 메모리에서 특수 목적용 가속 메모리로 성격이 변할 것으로 보인다.
용어 사전
- I/O (Input/Output): 데이터가 입력되고 출력되는 통로. I/O 핀 수가 많을수록 한 번에 더 많은 데이터를 주고받을 수 있다.
- Warpage (휨 현상): 열이나 압력으로 인해 얇은 실리콘 웨이퍼나 칩이 휘어지는 현상. 패키징 공정의 정밀도를 떨어뜨리는 주요 원인이 된다.
- Throttling (쓰로틀링): 기기의 온도가 너무 높아졌을 때, 하드웨어를 보호하기 위해 강제로 성능(클럭 속도)을 낮추는 제어 동작.
- Bump (범프): 칩과 칩, 또는 칩과 기판을 연결하기 위해 형성한 작은 전도성 돌기. 하이브리드 본딩은 이 범프 없이 직접 연결하는 기술이다.
# HBM (고대역폭 메모리, High Bandwidth Memory)
## 개요
**HBM(High Bandwidth Memory, 고대역폭 메모리)**은 여러 개의 DRAM(Dynamic Random Access Memory) 칩을 수직으로 적층하고, 이를 TSV(Through Silicon Via)라는 통로로 연결하여 데이터 전송 속도를 획기적으로 높인 고성능 메모리 솔루션이다.
기존의 GDDR(Graphics Double Data Rate) 메모리가 PCB(인쇄회로기판) 상에서 프로세서 주변에 수평으로 배치되어 데이터 통로(Bus Width) 확장에 물리적 한계가 있었던 것과 달리, HBM은 수직 적층 구조를 통해 데이터 통로를 수천 개로 늘려 '병목 현상'을 해결했다. 특히 거대 언어 모델(LLM)과 같은 생성형 AI의 등장으로 처리해야 할 데이터 양이 폭증하면서, GPU/NPU(신경망 처리 장치)의 연산 속도를 뒷받침할 수 있는 HBM은 현대 고성능 컴퓨팅(HPC)의 필수 요소가 되었다.
## 동작 원리 및 구조
HBM의 핵심은 **TSV(Through Silicon Via, 실리콘 관통 전극)** 기술이다. TSV는 칩에 수천 개의 미세한 구멍을 뚫어 상단 칩과 하단 칩을 전극으로 직접 연결하는 기술로, 기존의 와이어 본딩(Wire Bonding) 방식보다 데이터 이동 거리를 단축하고 전송 효율을 극대화한다.
물리적 구조는 최하단의 **베이스 다이(Base Die/Logic Die)** 위에 여러 층의 DRAM 칩이 쌓이는 형태이다. 베이스 다이는 적층된 DRAM 칩들을 제어하고 프로세서와의 통신을 중재하는 컨트롤러 역할을 수행하며, 이는 HBM 전체 스택의 두뇌와 같은 기능을 한다.
이렇게 적층된 HBM 스택은 **인터포저(Interposer)**라는 중간 기판 위에 GPU나 NPU와 같은 프로세서와 함께 배치된다. 인터포저는 프로세서와 메모리 사이의 미세 회로를 연결하는 가교 역할을 하며, 이를 통해 매우 짧은 거리에서 초고속 데이터 교환이 가능해진다.
### [표 1] 일반 DRAM(GDDR) vs HBM 구조 비교
| 구분 | 일반 DRAM (GDDR) | HBM (High Bandwidth Memory) |
| :--- | :--- | :--- |
| **배치 방식** | 프로세서 주변 수평 배치 | 프로세서 옆 수직 적층 배치 |
| **연결 기술** | PCB 패턴 및 와이어 본딩 | TSV (실리콘 관통 전극) |
| **데이터 통로(I/O)** | 상대적으로 좁음 (32~64bit) | 매우 넓음 (1,024bit 이상) |
| **물리적 면적** | 넓은 PCB 공간 필요 | 매우 좁은 면적 점유 |
| **전송 속도** | 개별 핀의 클럭 속도에 의존 | 다수의 통로를 통한 병렬 전송에 의존 |
## 주요 특징 및 장점
1. **압도적인 데이터 대역폭**: I/O(Input/Output) 핀 수를 획기적으로 늘려 한 번에 전송할 수 있는 데이터 양을 극대화했다. 이는 고해상도 그래픽 처리나 대규모 파라미터를 가진 AI 모델 연산 시 발생하는 메모리 병목 현상을 제거한다.
2. **전력 효율성 향상**: 데이터 전송 경로가 짧아지고, 낮은 전압에서 동작하도록 설계되어 단위 데이터 전송당 소비 전력이 기존 GDDR 대비 낮다.
3. **공간 최적화**: 칩을 위로 쌓아 올리는 구조 덕분에 메인보드에서 차지하는 면적을 크게 줄일 수 있어, 시스템 전체의 소형화 및 고밀도 설계가 가능하다.
## HBM의 세대별 발전 과정
HBM은 세대를 거듭하며 적층 단수를 높이고, 전송 속도와 전력 효율을 개선해 왔다. 특히 HBM3E 단계에 이르러서는 초당 테라바이트(TB/s) 단위의 대역폭을 구현하고 있다.
### [표 2] HBM 세대별 사양 및 성능 비교 (추정치 포함)
| 세대 | 주요 특징 | 적층 단수 (최대) | 데이터 전송 속도 (Pin당) | 주요 적용 사례 |
| :--- | :--- | :--- | :--- | :--- |
| **HBM1** | 최초의 표준 HBM | 4단 / 8단 | 약 1.2 Gbps | 초기 HPC, 특수 가속기 |
| **HBM2** | 전력 효율 및 속도 개선 | 8단 | 약 2.0 Gbps | AI 가속기, 고성능 GPU |
| **HBM2E** | 대역폭 확장 (Extended) | 8단 / 12단 | 약 3.2 Gbps | A100 등 AI 서버 |
| **HBM3** | 초고속 인터페이스 도입 | 12단 | 약 6.4 Gbps | H100 등 최신 AI 가속기 |
| **HBM3E** | 성능 및 용량 극대화 | 12단 / 16단 | 약 9.2 Gbps+ | H200, B100 등 차세대 AI |
## 주요 활용 분야
* **생성형 AI (LLM) 학습 및 추론**: GPT-4와 같은 거대 언어 모델은 수천억 개의 파라미터를 실시간으로 읽고 써야 한다. HBM은 GPU의 연산 속도에 맞춰 데이터를 공급함으로써 학습 시간을 단축하고 추론 응답 속도를 높인다.
* **슈퍼컴퓨팅 (HPC)**: 기상 예측, 분자 구조 분석, 핵융합 시뮬레이션 등 방대한 양의 데이터를 처리하는 과학 계산 분야에서 필수적으로 사용된다.
* **고성능 서버 및 데이터센터**: 가상화 서버나 빅데이터 분석 플랫폼에서 데이터 처리 지연 시간(Latency)을 최소화하기 위해 도입된다.
## 제조사별 기술 경쟁 및 공정 분석
현재 HBM 시장은 SK하이닉스, 삼성전자, 마이크론의 3강 체제로 운영되고 있으며, 특히 적층 시 칩 사이를 채우는 **패키징 공정**이 핵심 경쟁력이다.
### 패키징 공정 비교: TC-NCF vs MR-MUF
칩을 쌓을 때 발생하는 열을 관리하고 접합 강도를 높이기 위해 서로 다른 공법이 사용된다.
* **TC-NCF (Thermal Compression Non-Conductive Film)**: 칩 사이에 비전도성 필름(NCF)을 넣고 열과 압력을 가해 압착하는 방식이다. 칩 휨(Warpage) 현상을 억제하는 데 유리하며, 고단 적층 시 칩 간 간격을 정밀하게 제어할 수 있어 삼성전자가 주력으로 사용한다.
* **MR-MUF (Mass Reflow Molded Underfill)**: 칩을 쌓은 후 액체 형태의 보호재(MUF)를 한꺼번에 주입하여 굳히는 방식이다. 공정 시간이 짧고, 액체 보호재가 칩 사이의 빈틈을 촘촘히 메워 열 방출 효율이 매우 뛰어나다. SK하이닉스가 HBM3 및 HBM3E에서 경쟁 우위를 점하게 한 핵심 기술이다.
### [표 4] 패키징 공정 요약 비교
| 항목 | TC-NCF | MR-MUF |
| :--- | :--- | :--- |
| **접합 방식** | 비전도성 필름 압착 | 액체 보호재 주입 및 경화 |
| **주요 장점** | 칩 휨 억제, 정밀한 간격 제어 | 우수한 방열 성능, 공정 시간 단축 |
| **주요 단점** | 공정 시간이 길고 열 방출에 불리 | 고단 적층 시 칩 휨 제어 난이도 상승 |
| **주력 업체** | 삼성전자 | SK하이닉스 |
### 제조사별 현황
* **SK하이닉스**: MR-MUF 기술을 앞세워 HBM3 및 HBM3E 시장에서 선도적인 지위를 확보하고 있으며, NVIDIA와의 강력한 파트너십을 유지하고 있다.
* **삼성전자**: 압도적인 생산 능력과 TC-NCF 공정 고도화를 통해 추격 중이며, HBM과 파운드리, 패키징을 한 번에 제공하는 '턴키(Turn-key)' 전략을 추진하고 있다.
* **마이크론**: 후발 주자이나 최신 공정 노드(1$\beta$ 등)를 빠르게 적용하여 전력 효율성이 높은 HBM3E 제품을 출시하며 점유율을 확대하고 있다.
## HBM vs LPDDR5X 비교
HBM이 고성능 가속기를 위한 메모리라면, LPDDR5X는 모바일 및 온디바이스 AI를 위한 저전력 메모리이다.
### [표 3] HBM vs LPDDR5X 특성 비교
| 구분 | HBM (High Bandwidth Memory) | LPDDR5X (Low Power DDR) |
| :--- | :--- | :--- |
| **주 목적** | 최대 대역폭 및 성능 극대화 | 저전력 소비 및 효율성 |
| **구조** | 3D 수직 적층 (TSV) | 2D 평면 배치 |
| **연결 방식** | 인터포저를 통한 프로세서 밀착 | PCB 패턴을 통한 연결 |
| **대역폭** | 매우 높음 (TB/s 급) | 상대적으로 낮음 (GB/s 급) |
| **가격/원가** | 매우 높음 (고난도 공정) | 상대적으로 낮음 (범용 공정) |
| **주요 타겟** | AI 가속기, 서버 GPU | 스마트폰, 노트북, 온디바이스 AI |
## 한계점 및 향후 전망
### 한계점
* **제조 원가 및 수율**: TSV 공정과 복잡한 패키징 과정으로 인해 일반 DRAM보다 생산 단가가 매우 높으며, 단 하나의 칩만 불량이어도 전체 스택을 폐기해야 하므로 수율 관리가 어렵다.
* **발열 문제**: 칩을 수직으로 쌓기 때문에 중심부의 열이 외부로 방출되기 어려운 구조적 한계가 있다. 이는 성능 저하(Throttling)의 원인이 된다.
### 향후 전망 및 HBM4
차세대 표준인 **HBM4**부터는 단순한 성능 개선을 넘어 구조적인 패러다임 변화가 예상된다.
1. **베이스 다이(Base Die)의 파운드리 협력**: 기존에는 메모리 업체가 베이스 다이를 직접 제조했으나, HBM4부터는 TSMC와 같은 파운드리 업체가 최첨단 로직 공정을 적용해 베이스 다이를 제작한다. 이를 통해 연산 성능을 높이고 전력 소비를 획기적으로 줄일 수 있다.
2. **적층 단수의 극한 확장**: 16단을 넘어 20단, 24단까지 적층하여 단일 패키지당 용량을 극대화함으로써, 더 거대한 AI 모델을 메모리에 상주시켜 처리 속도를 높일 전망이다.
3. **하이브리드 본딩(Hybrid Bonding) 도입**: 기존의 범프(Bump)를 통한 연결 방식 대신, 구리(Cu)와 구리를 직접 접합하는 하이브리드 본딩 기술이 도입된다. 이는 칩 사이의 간격을 없애 전체 높이를 줄이면서도 데이터 전송 효율과 방열 성능을 동시에 개선하는 핵심 기술이 될 것이다.
4. **맞춤형(Custom) HBM 시대**: 고객사(NVIDIA, 구글, 메타 등)의 특정 AI 알고리즘에 최적화된 기능을 베이스 다이에 구현하는 '커스텀 HBM' 형태로 진화하여, 범용 메모리에서 특수 목적용 가속 메모리로 성격이 변할 것으로 보인다.
## 용어 사전
* **I/O (Input/Output)**: 데이터가 입력되고 출력되는 통로. I/O 핀 수가 많을수록 한 번에 더 많은 데이터를 주고받을 수 있다.
* **Warpage (휨 현상)**: 열이나 압력으로 인해 얇은 실리콘 웨이퍼나 칩이 휘어지는 현상. 패키징 공정의 정밀도를 떨어뜨리는 주요 원인이 된다.
* **Throttling (쓰로틀링)**: 기기의 온도가 너무 높아졌을 때, 하드웨어를 보호하기 위해 강제로 성능(클럭 속도)을 낮추는 제어 동작.
* **Bump (범프)**: 칩과 칩, 또는 칩과 기판을 연결하기 위해 형성한 작은 전도성 돌기. 하이브리드 본딩은 이 범프 없이 직접 연결하는 기술이다.