HBM (고대역폭 메모리, High Bandwidth Memory)
개요
HBM(High Bandwidth Memory, 고대역폭 메모리)은 여러 개의 DRAM(Dynamic Random Access Memory) 칩을 수직으로 적층하고, 이를 TSV(Through Silicon Via)라는 통로로 연결하여 데이터 전송 속도를 획기적으로 높인 고성능 메모리 솔루션이다.
기존의 GDDR(Graphics Double Data Rate) 메모리가 PCB(인쇄회로기판) 상에서 프로세서 주변에 수평으로 배치되어 데이터 통로(Bus Width) 확장에 물리적 한계가 있었던 것과 달리, HBM은 수직 적층 구조를 통해 데이터 통로를 수천 개로 늘려 '병목 현상'을 해결했다. 특히 거대 언어 모델(LLM)과 같은 생성형 AI의 등장으로 처리해야 할 데이터 양이 폭증하면서, GPU/NPU(신경망 처리 장치)의 연산 속도를 뒷받침할 수 있는 HBM은 현대 고성능 컴퓨팅(HPC)의 필수 요소가 되었다.
동작 원리 및 구조
HBM의 핵심은 TSV(Through Silicon Via, 실리콘 관통 전극) 기술이다. TSV는 칩에 수천 개의 미세한 구멍을 뚫어 상단 칩과 하단 칩을 전극으로 직접 연결하는 기술로, 기존의 와이어 본딩(Wire Bonding) 방식보다 데이터 이동 거리를 단축하고 전송 효율을 극대화한다.
물리적 구조는 최하단의 베이스 다이(Base Die/Logic Die) 위에 여러 층의 DRAM 칩이 쌓이는 형태이다. 베이스 다이는 적층된 DRAM 칩들을 제어하고 프로세서와의 통신을 중재하는 컨트롤러 역할을 수행하며, 이는 HBM 전체 스택의 두뇌와 같은 기능을 한다.
이렇게 적층된 HBM 스택은 인터포저(Interposer)라는 중간 기판 위에 GPU나 NPU와 같은 프로세서와 함께 배치된다. 인터포저는 프로세서와 메모리 사이의 미세 회로를 연결하는 가교 역할을 하며, 이를 통해 매우 짧은 거리에서 초고속 데이터 교환이 가능해진다.
[표 1] 일반 DRAM(GDDR) vs HBM 구조 비교
| 구분 |
일반 DRAM (GDDR) |
HBM (High Bandwidth Memory) |
| 배치 방식 |
프로세서 주변 수평 배치 |
프로세서 옆 수직 적층 배치 |
| 연결 기술 |
PCB 패턴 및 와이어 본딩 |
TSV (실리콘 관통 전극) |
| 데이터 통로(I/O) |
상대적으로 좁음 (32~64bit) |
매우 넓음 (1,024bit 이상) |
| 물리적 면적 |
넓은 PCB 공간 필요 |
매우 좁은 면적 점유 |
| 전송 속도 |
개별 핀의 클럭 속도에 의존 |
다수의 통로를 통한 병렬 전송에 의존 |
주요 특징 및 장점
- 압도적인 데이터 대역폭: I/O(Input/Output) 핀 수를 획기적으로 늘려 한 번에 전송할 수 있는 데이터 양을 극대화했다. 이는 고해상도 그래픽 처리나 대규모 파라미터를 가진 AI 모델 연산 시 발생하는 메모리 병목 현상을 제거한다.
- 전력 효율성 향상: 데이터 전송 경로가 짧아지고, 낮은 전압에서 동작하도록 설계되어 단위 데이터 전송당 소비 전력이 기존 GDDR 대비 낮다.
- 공간 최적화: 칩을 위로 쌓아 올리는 구조 덕분에 메인보드에서 차지하는 면적을 크게 줄일 수 있어, 시스템 전체의 소형화 및 고밀도 설계가 가능하다.
HBM의 세대별 발전 과정
HBM은 세대를 거듭하며 적층 단수를 높이고, 전송 속도와 전력 효율을 개선해 왔다. 특히 HBM3E 단계에 이르러서는 초당 테라바이트(TB/s) 단위의 대역폭을 구현하고 있다.
[표 2] HBM 세대별 사양 및 성능 비교 (추정치 포함)
| 세대 |
주요 특징 |
적층 단수 (최대) |
데이터 전송 속도 (Pin당) |
주요 적용 사례 |
| HBM1 |
최초의 표준 HBM |
4단 / 8단 |
약 1.2 Gbps |
초기 HPC, 특수 가속기 |
| HBM2 |
전력 효율 및 속도 개선 |
8단 |
약 2.0 Gbps |
AI 가속기, 고성능 GPU |
| HBM2E |
대역폭 확장 (Extended) |
8단 / 12단 |
약 3.2 Gbps |
A100 등 AI 서버 |
| HBM3 |
초고속 인터페이스 도입 |
12단 |
약 6.4 Gbps |
H100 등 최신 AI 가속기 |
| HBM3E |
성능 및 용량 극대화 |
12단 / 16단 |
약 9.2 Gbps+ |
H200, B100 등 차세대 AI |
주요 활용 분야
- 생성형 AI (LLM) 학습 및 추론: GPT-4와 같은 거대 언어 모델은 수천억 개의 파라미터를 실시간으로 읽고 써야 한다. HBM은 GPU의 연산 속도에 맞춰 데이터를 공급함으로써 학습 시간을 단축하고 추론 응답 속도를 높인다.
- 슈퍼컴퓨팅 (HPC): 기상 예측, 분자 구조 분석, 핵융합 시뮬레이션 등 방대한 양의 데이터를 처리하는 과학 계산 분야에서 필수적으로 사용된다.
- 고성능 서버 및 데이터센터: 가상화 서버나 빅데이터 분석 플랫폼에서 데이터 처리 지연 시간(Latency)을 최소화하기 위해 도입된다.
제조사별 기술 경쟁 및 공정 분석
현재 HBM 시장은 SK하이닉스, 삼성전자, 마이크론의 3강 체제로 운영되고 있으며, 특히 적층 시 칩 사이를 채우는 패키징 공정이 핵심 경쟁력이다.
칩을 쌓을 때 발생하는 열을 관리하고 접합 강도를 높이기 위해 서로 다른 공법이 사용된다.
- TC-NCF (Thermal Compression Non-Conductive Film): 칩 사이에 비전도성 필름(NCF)을 넣고 열과 압력을 가해 압착하는 방식이다. 칩 휨(Warpage) 현상을 억제하는 데 유리하며, 고단 적층 시 칩 간 간격을 정밀하게 제어할 수 있어 삼성전자가 주력으로 사용한다.
- MR-MUF (Mass Reflow Molded Underfill): 칩을 쌓은 후 액체 형태의 보호재(MUF)를 한꺼번에 주입하여 굳히는 방식이다. 공정 시간이 짧고, 액체 보호재가 칩 사이의 빈틈을 촘촘히 메워 열 방출 효율이 매우 뛰어나다. SK하이닉스가 HBM3 및 HBM3E에서 경쟁 우위를 점하게 한 핵심 기술이다.
[표 4] 패키징 공정 요약 비교
| 항목 |
TC-NCF |
MR-MUF |
| 접합 방식 |
비전도성 필름 압착 |
액체 보호재 주입 및 경화 |
| 주요 장점 |
칩 휨 억제, 정밀한 간격 제어 |
우수한 방열 성능, 공정 시간 단축 |
| 주요 단점 |
공정 시간이 길고 열 방출에 불리 |
고단 적층 시 칩 휨 제어 난이도 상승 |
| 주력 업체 |
삼성전자 |
SK하이닉스 |
제조사별 현황
- SK하이닉스: MR-MUF 기술을 앞세워 HBM3 및 HBM3E 시장에서 선도적인 지위를 확보하고 있으며, NVIDIA와의 강력한 파트너십을 유지하고 있다.
- 삼성전자: 압도적인 생산 능력과 TC-NCF 공정 고도화를 통해 추격 중이며, HBM과 파운드리, 패키징을 한 번에 제공하는 '턴키(Turn-key)' 전략을 추진하고 있다.
- 마이크론: 후발 주자이나 최신 공정 노드(1$\beta$ 등)를 빠르게 적용하여 전력 효율성이 높은 HBM3E 제품을 출시하며 점유율을 확대하고 있다.
HBM이 고성능 가속기를 위한 메모리라면, LPDDR5X는 모바일 및 온디바이스 AI를 위한 저전력 메모리이다.
[표 3] HBM vs LPDDR5X 특성 비교
| 구분 |
HBM (High Bandwidth Memory) |
LPDDR5X (Low Power DDR) |
| 주 목적 |
최대 대역폭 및 성능 극대화 |
저전력 소비 및 효율성 |
| 구조 |
3D 수직 적층 (TSV) |
2D 평면 배치 |
| 연결 방식 |
인터포저를 통한 프로세서 밀착 |
PCB 패턴을 통한 연결 |
| 대역폭 |
매우 높음 (TB/s 급) |
상대적으로 낮음 (GB/s 급) |
| 가격/원가 |
매우 높음 (고난도 공정) |
상대적으로 낮음 (범용 공정) |
| 주요 타겟 |
AI 가속기, 서버 GPU |
스마트폰, 노트북, 온디바이스 AI |
한계점 및 향후 전망
한계점
- 제조 원가 및 수율: TSV 공정과 복잡한 패키징 과정으로 인해 일반 DRAM보다 생산 단가가 매우 높으며, 단 하나의 칩만 불량이어도 전체 스택을 폐기해야 하므로 수율 관리가 어렵다.
- 발열 문제: 칩을 수직으로 쌓기 때문에 중심부의 열이 외부로 방출되기 어려운 구조적 한계가 있다. 이는 성능 저하(Throttling)의 원인이 된다.
향후 전망 및 HBM4
차세대 표준인 HBM4부터는 단순한 성능 개선을 넘어 구조적인 패러다임 변화가 예상된다.
- 베이스 다이(Base Die)의 파운드리 협력: 기존에는 메모리 업체가 베이스 다이를 직접 제조했으나, HBM4부터는 TSMC와 같은 파운드리 업체가 최첨단 로직 공정을 적용해 베이스 다이를 제작한다. 이를 통해 연산 성능을 높이고 전력 소비를 획기적으로 줄일 수 있다.
- 적층 단수의 극한 확장: 16단을 넘어 20단, 24단까지 적층하여 단일 패키지당 용량을 극대화함으로써, 더 거대한 AI 모델을 메모리에 상주시켜 처리 속도를 높일 전망이다.
- 하이브리드 본딩(Hybrid Bonding) 도입: 기존의 범프(Bump)를 통한 연결 방식 대신, 구리(Cu)와 구리를 직접 접합하는 하이브리드 본딩 기술이 도입된다. 이는 칩 사이의 간격을 없애 전체 높이를 줄이면서도 데이터 전송 효율과 방열 성능을 동시에 개선하는 핵심 기술이 될 것이다.
- 맞춤형(Custom) HBM 시대: 고객사(NVIDIA, 구글, 메타 등)의 특정 AI 알고리즘에 최적화된 기능을 베이스 다이에 구현하는 '커스텀 HBM' 형태로 진화하여, 범용 메모리에서 특수 목적용 가속 메모리로 성격이 변할 것으로 보인다.
용어 사전
- I/O (Input/Output): 데이터가 입력되고 출력되는 통로. I/O 핀 수가 많을수록 한 번에 더 많은 데이터를 주고받을 수 있다.
- Warpage (휨 현상): 열이나 압력으로 인해 얇은 실리콘 웨이퍼나 칩이 휘어지는 현상. 패키징 공정의 정밀도를 떨어뜨리는 주요 원인이 된다.
- Throttling (쓰로틀링): 기기의 온도가 너무 높아졌을 때, 하드웨어를 보호하기 위해 강제로 성능(클럭 속도)을 낮추는 제어 동작.
- Bump (범프): 칩과 칩, 또는 칩과 기판을 연결하기 위해 형성한 작은 전도성 돌기. 하이브리드 본딩은 이 범프 없이 직접 연결하는 기술이다.
HBM의 생태계 및 가치 사슬(Value Chain)
HBM은 단일 기업의 제조 능력을 넘어, 메모리-파운드리-OSAT-수요처로 이어지는 긴밀한 협력 생태계를 통해 완성된다. 특히 HBM4 세대부터는 베이스 다이의 로직 공정 중요성이 커지며 파운드리와의 결합도가 더욱 심화되는 추세이다.
[HBM 밸류체인 구성도]
웨이퍼 제조(메모리사) $\rightarrow$ TSV 및 적층 패키징(메모리사/OSAT) $\rightarrow$ 인터포저 및 2.5D 패키징(파운드리) $\rightarrow$ 최종 AI 가속기 조립(NVIDIA/AMD 등) $\rightarrow$ 클라우드 서비스 제공자(CSP: MS, 구글, AWS 등)
- 메모리 제조사 (SK하이닉스, 삼성전자, 마이크론): DRAM 코어 다이 생산 및 TSV 적층 공정 수행.
- 파운드리 (TSMC, 삼성전자): HBM과 GPU/NPU를 연결하는 실리콘 인터포저(Interposer) 제공 및 CoWoS(Chip on Wafer on Substrate)와 같은 첨단 패키징 공정 주도.
- OSAT (Amkor, ASE 등): 최종 패키징 및 테스트 공정 지원.
- 최종 수요처 (NVIDIA, AMD, Intel): HBM을 탑재한 AI 가속기(GPU/NPU) 설계 및 제품화.
HBM의 전력 및 열 관리 솔루션
HBM은 고집적 적층 구조로 인해 발생하는 '열 밀도' 문제가 성능의 최대 병목 지점으로 작용한다. 이를 해결하기 위해 단순한 방열판 부착을 넘어선 엔지니어링적 접근이 시도되고 있다.
- 고열전도성 소재 도입: 칩 사이의 빈틈을 채우는 MUF(Molded Underfill) 소재의 열전도율을 높이거나, 다이아몬드 라이크 카본(DLC) 등 차세대 고방열 소재를 적용하여 내부 열을 외부로 빠르게 배출한다.
- 액침 냉각 (Immersion Cooling): 서버 전체를 전기가 통하지 않는 특수 냉각유에 담그는 방식으로, 공랭식이나 수랭식보다 열 전달 효율이 압도적으로 높아 HBM이 탑재된 고성능 AI 서버의 쓰로틀링 현상을 근본적으로 억제한다.
- 베이스 다이 최적화: 전력 소비가 많은 로직 회로를 최적화하고, 전압 강하(IR Drop)를 최소화하는 전력 공급망(PDN) 설계를 통해 발열의 원인이 되는 전력 손실을 줄인다.
인터포저 기술 및 데이터 경로 분석
HBM의 성능은 프로세서와 메모리 사이의 물리적 연결 통로인 인터포저의 설계 방식에 따라 결정된다.
- 실리콘 인터포저 (Silicon Interposer): 실리콘 웨이퍼 공정을 이용해 매우 미세한 회로를 구현한다. 신호 손실이 적고 밀도가 매우 높지만, 제조 비용이 비싸고 크기 확장에 제한이 있다.
- RDL (Redistribution Layer) 인터포저: 유기물 기반의 재배선층을 사용하여 실리콘 인터포저보다 비용을 낮추고 크기를 키울 수 있다. 최근에는 실리콘의 성능과 유기물의 경제성을 결합한 하이브리드 형태가 연구되고 있다.
- 물리적 특성: HBM은 수천 개의 I/O를 통해 데이터를 병렬로 전송하므로, 인터포저 상의 배선 길이(Trace Length)를 최소화하여 신호 지연(Latency)과 전력 소모를 줄이는 것이 핵심이다.
JEDEC 표준 및 세대별 규격 비교
HBM의 발전은 국제반도체표준협의기구(JEDEC)의 표준 제정을 통해 생태계 호환성을 확보하며 이루어졌다. 표준 규격의 확립은 제조사 간 경쟁을 촉진하는 동시에, NVIDIA와 같은 고객사가 다양한 제조사의 HBM을 선택해 사용할 수 있는 기반이 된다.
[표 5] HBM 세대별 표준 규격 상세 비교
| 구분 |
HBM2 |
HBM2E |
HBM3 |
HBM3E |
HBM4 (예정) |
| JEDEC 표준 |
HBM2 표준 |
HBM2 확장 표준 |
HBM3 표준 |
HBM3 확장 표준 |
HBM4 표준 |
| I/O 인터페이스 |
1,024-bit |
1,024-bit |
1,024-bit |
1,024-bit |
2,048-bit (예상) |
| 핀당 속도 |
$\sim$2.0 Gbps |
$\sim$3.2 Gbps |
$\sim$6.4 Gbps |
$\sim$9.2 Gbps |
10 Gbps+ |
| 최대 대역폭 |
$\sim$256 GB/s |
$\sim$410 GB/s |
$\sim$819 GB/s |
$\sim$1.2 TB/s |
2 TB/s+ |
| 전압 (VDD) |
1.2V |
1.2V |
1.1V |
1.1V |
1.0V 이하 (예상) |
최신 공정: 하이브리드 본딩 (Hybrid Bonding)
HBM4 이후의 핵심 게임 체인저로 꼽히는 하이브리드 본딩은 기존의 '범프'라는 중간 매개체 없이 구리(Cu) 전극끼리 직접 접합하는 기술이다.
[하이브리드 본딩 구조도]
기존 방식: [칩 A] $\rightarrow$ [범프(Solder Ball)] $\rightarrow$ [칩 B]
하이브리드 본딩: [칩 A (Cu 전극)] $\rightleftharpoons$ [칩 B (Cu 전극)] (직접 접합)
- 구조적 이점: 범프가 차지하던 공간이 사라지므로 칩 사이의 간격(Pitch)을 획기적으로 줄일 수 있다. 이는 전체 스택 높이를 낮추어 16단 이상의 고단 적층 시에도 물리적 높이 제한을 극복하게 한다.
- 성능적 이점: 전도성이 높은 구리로 직접 연결되어 전기적 저항이 감소하고, 데이터 전송 속도가 향상되며, 열 방출 경로가 최적화되어 방열 성능이 크게 개선된다.
PIM(Processor-in-Memory)과 HBM의 결합
향후 HBM은 단순한 데이터 저장 및 전송 장치를 넘어, 메모리 내부에서 직접 연산을 수행하는 PIM(Processor-in-Memory) 기술과 결합하여 진화할 전망이다.
- 연산 패러다임의 변화: 기존에는
메모리 $\rightarrow$ CPU/GPU $\rightarrow$ 메모리 순으로 데이터를 주고받았으나, PIM이 적용된 HBM은 메모리 내부의 베이스 다이나 DRAM 뱅크 내에서 간단한 연산을 직접 처리한다.
- 기대 효과: 데이터 이동량을 획기적으로 줄여 전력 소비를 낮추고, 메모리 병목 현상을 완전히 제거함으로써 AI 추론 속도를 비약적으로 향상시킬 수 있다. 이는 HBM이 '저장소'에서 '연산 유닛'으로 확장되는 진화 방향을 제시한다.
# HBM (고대역폭 메모리, High Bandwidth Memory)
## 개요
**HBM(High Bandwidth Memory, 고대역폭 메모리)**은 여러 개의 DRAM(Dynamic Random Access Memory) 칩을 수직으로 적층하고, 이를 TSV(Through Silicon Via)라는 통로로 연결하여 데이터 전송 속도를 획기적으로 높인 고성능 메모리 솔루션이다.
기존의 GDDR(Graphics Double Data Rate) 메모리가 PCB(인쇄회로기판) 상에서 프로세서 주변에 수평으로 배치되어 데이터 통로(Bus Width) 확장에 물리적 한계가 있었던 것과 달리, HBM은 수직 적층 구조를 통해 데이터 통로를 수천 개로 늘려 '병목 현상'을 해결했다. 특히 거대 언어 모델(LLM)과 같은 생성형 AI의 등장으로 처리해야 할 데이터 양이 폭증하면서, GPU/NPU(신경망 처리 장치)의 연산 속도를 뒷받침할 수 있는 HBM은 현대 고성능 컴퓨팅(HPC)의 필수 요소가 되었다.
## 동작 원리 및 구조
HBM의 핵심은 **TSV(Through Silicon Via, 실리콘 관통 전극)** 기술이다. TSV는 칩에 수천 개의 미세한 구멍을 뚫어 상단 칩과 하단 칩을 전극으로 직접 연결하는 기술로, 기존의 와이어 본딩(Wire Bonding) 방식보다 데이터 이동 거리를 단축하고 전송 효율을 극대화한다.
물리적 구조는 최하단의 **베이스 다이(Base Die/Logic Die)** 위에 여러 층의 DRAM 칩이 쌓이는 형태이다. 베이스 다이는 적층된 DRAM 칩들을 제어하고 프로세서와의 통신을 중재하는 컨트롤러 역할을 수행하며, 이는 HBM 전체 스택의 두뇌와 같은 기능을 한다.
이렇게 적층된 HBM 스택은 **인터포저(Interposer)**라는 중간 기판 위에 GPU나 NPU와 같은 프로세서와 함께 배치된다. 인터포저는 프로세서와 메모리 사이의 미세 회로를 연결하는 가교 역할을 하며, 이를 통해 매우 짧은 거리에서 초고속 데이터 교환이 가능해진다.
### [표 1] 일반 DRAM(GDDR) vs HBM 구조 비교
| 구분 | 일반 DRAM (GDDR) | HBM (High Bandwidth Memory) |
| :--- | :--- | :--- |
| **배치 방식** | 프로세서 주변 수평 배치 | 프로세서 옆 수직 적층 배치 |
| **연결 기술** | PCB 패턴 및 와이어 본딩 | TSV (실리콘 관통 전극) |
| **데이터 통로(I/O)** | 상대적으로 좁음 (32~64bit) | 매우 넓음 (1,024bit 이상) |
| **물리적 면적** | 넓은 PCB 공간 필요 | 매우 좁은 면적 점유 |
| **전송 속도** | 개별 핀의 클럭 속도에 의존 | 다수의 통로를 통한 병렬 전송에 의존 |
## 주요 특징 및 장점
1. **압도적인 데이터 대역폭**: I/O(Input/Output) 핀 수를 획기적으로 늘려 한 번에 전송할 수 있는 데이터 양을 극대화했다. 이는 고해상도 그래픽 처리나 대규모 파라미터를 가진 AI 모델 연산 시 발생하는 메모리 병목 현상을 제거한다.
2. **전력 효율성 향상**: 데이터 전송 경로가 짧아지고, 낮은 전압에서 동작하도록 설계되어 단위 데이터 전송당 소비 전력이 기존 GDDR 대비 낮다.
3. **공간 최적화**: 칩을 위로 쌓아 올리는 구조 덕분에 메인보드에서 차지하는 면적을 크게 줄일 수 있어, 시스템 전체의 소형화 및 고밀도 설계가 가능하다.
## HBM의 세대별 발전 과정
HBM은 세대를 거듭하며 적층 단수를 높이고, 전송 속도와 전력 효율을 개선해 왔다. 특히 HBM3E 단계에 이르러서는 초당 테라바이트(TB/s) 단위의 대역폭을 구현하고 있다.
### [표 2] HBM 세대별 사양 및 성능 비교 (추정치 포함)
| 세대 | 주요 특징 | 적층 단수 (최대) | 데이터 전송 속도 (Pin당) | 주요 적용 사례 |
| :--- | :--- | :--- | :--- | :--- |
| **HBM1** | 최초의 표준 HBM | 4단 / 8단 | 약 1.2 Gbps | 초기 HPC, 특수 가속기 |
| **HBM2** | 전력 효율 및 속도 개선 | 8단 | 약 2.0 Gbps | AI 가속기, 고성능 GPU |
| **HBM2E** | 대역폭 확장 (Extended) | 8단 / 12단 | 약 3.2 Gbps | A100 등 AI 서버 |
| **HBM3** | 초고속 인터페이스 도입 | 12단 | 약 6.4 Gbps | H100 등 최신 AI 가속기 |
| **HBM3E** | 성능 및 용량 극대화 | 12단 / 16단 | 약 9.2 Gbps+ | H200, B100 등 차세대 AI |
## 주요 활용 분야
* **생성형 AI (LLM) 학습 및 추론**: GPT-4와 같은 거대 언어 모델은 수천억 개의 파라미터를 실시간으로 읽고 써야 한다. HBM은 GPU의 연산 속도에 맞춰 데이터를 공급함으로써 학습 시간을 단축하고 추론 응답 속도를 높인다.
* **슈퍼컴퓨팅 (HPC)**: 기상 예측, 분자 구조 분석, 핵융합 시뮬레이션 등 방대한 양의 데이터를 처리하는 과학 계산 분야에서 필수적으로 사용된다.
* **고성능 서버 및 데이터센터**: 가상화 서버나 빅데이터 분석 플랫폼에서 데이터 처리 지연 시간(Latency)을 최소화하기 위해 도입된다.
## 제조사별 기술 경쟁 및 공정 분석
현재 HBM 시장은 SK하이닉스, 삼성전자, 마이크론의 3강 체제로 운영되고 있으며, 특히 적층 시 칩 사이를 채우는 **패키징 공정**이 핵심 경쟁력이다.
### 패키징 공정 비교: TC-NCF vs MR-MUF
칩을 쌓을 때 발생하는 열을 관리하고 접합 강도를 높이기 위해 서로 다른 공법이 사용된다.
* **TC-NCF (Thermal Compression Non-Conductive Film)**: 칩 사이에 비전도성 필름(NCF)을 넣고 열과 압력을 가해 압착하는 방식이다. 칩 휨(Warpage) 현상을 억제하는 데 유리하며, 고단 적층 시 칩 간 간격을 정밀하게 제어할 수 있어 삼성전자가 주력으로 사용한다.
* **MR-MUF (Mass Reflow Molded Underfill)**: 칩을 쌓은 후 액체 형태의 보호재(MUF)를 한꺼번에 주입하여 굳히는 방식이다. 공정 시간이 짧고, 액체 보호재가 칩 사이의 빈틈을 촘촘히 메워 열 방출 효율이 매우 뛰어나다. SK하이닉스가 HBM3 및 HBM3E에서 경쟁 우위를 점하게 한 핵심 기술이다.
### [표 4] 패키징 공정 요약 비교
| 항목 | TC-NCF | MR-MUF |
| :--- | :--- | :--- |
| **접합 방식** | 비전도성 필름 압착 | 액체 보호재 주입 및 경화 |
| **주요 장점** | 칩 휨 억제, 정밀한 간격 제어 | 우수한 방열 성능, 공정 시간 단축 |
| **주요 단점** | 공정 시간이 길고 열 방출에 불리 | 고단 적층 시 칩 휨 제어 난이도 상승 |
| **주력 업체** | 삼성전자 | SK하이닉스 |
### 제조사별 현황
* **SK하이닉스**: MR-MUF 기술을 앞세워 HBM3 및 HBM3E 시장에서 선도적인 지위를 확보하고 있으며, NVIDIA와의 강력한 파트너십을 유지하고 있다.
* **삼성전자**: 압도적인 생산 능력과 TC-NCF 공정 고도화를 통해 추격 중이며, HBM과 파운드리, 패키징을 한 번에 제공하는 '턴키(Turn-key)' 전략을 추진하고 있다.
* **마이크론**: 후발 주자이나 최신 공정 노드(1$\beta$ 등)를 빠르게 적용하여 전력 효율성이 높은 HBM3E 제품을 출시하며 점유율을 확대하고 있다.
## HBM vs LPDDR5X 비교
HBM이 고성능 가속기를 위한 메모리라면, LPDDR5X는 모바일 및 온디바이스 AI를 위한 저전력 메모리이다.
### [표 3] HBM vs LPDDR5X 특성 비교
| 구분 | HBM (High Bandwidth Memory) | LPDDR5X (Low Power DDR) |
| :--- | :--- | :--- |
| **주 목적** | 최대 대역폭 및 성능 극대화 | 저전력 소비 및 효율성 |
| **구조** | 3D 수직 적층 (TSV) | 2D 평면 배치 |
| **연결 방식** | 인터포저를 통한 프로세서 밀착 | PCB 패턴을 통한 연결 |
| **대역폭** | 매우 높음 (TB/s 급) | 상대적으로 낮음 (GB/s 급) |
| **가격/원가** | 매우 높음 (고난도 공정) | 상대적으로 낮음 (범용 공정) |
| **주요 타겟** | AI 가속기, 서버 GPU | 스마트폰, 노트북, 온디바이스 AI |
## 한계점 및 향후 전망
### 한계점
* **제조 원가 및 수율**: TSV 공정과 복잡한 패키징 과정으로 인해 일반 DRAM보다 생산 단가가 매우 높으며, 단 하나의 칩만 불량이어도 전체 스택을 폐기해야 하므로 수율 관리가 어렵다.
* **발열 문제**: 칩을 수직으로 쌓기 때문에 중심부의 열이 외부로 방출되기 어려운 구조적 한계가 있다. 이는 성능 저하(Throttling)의 원인이 된다.
### 향후 전망 및 HBM4
차세대 표준인 **HBM4**부터는 단순한 성능 개선을 넘어 구조적인 패러다임 변화가 예상된다.
1. **베이스 다이(Base Die)의 파운드리 협력**: 기존에는 메모리 업체가 베이스 다이를 직접 제조했으나, HBM4부터는 TSMC와 같은 파운드리 업체가 최첨단 로직 공정을 적용해 베이스 다이를 제작한다. 이를 통해 연산 성능을 높이고 전력 소비를 획기적으로 줄일 수 있다.
2. **적층 단수의 극한 확장**: 16단을 넘어 20단, 24단까지 적층하여 단일 패키지당 용량을 극대화함으로써, 더 거대한 AI 모델을 메모리에 상주시켜 처리 속도를 높일 전망이다.
3. **하이브리드 본딩(Hybrid Bonding) 도입**: 기존의 범프(Bump)를 통한 연결 방식 대신, 구리(Cu)와 구리를 직접 접합하는 하이브리드 본딩 기술이 도입된다. 이는 칩 사이의 간격을 없애 전체 높이를 줄이면서도 데이터 전송 효율과 방열 성능을 동시에 개선하는 핵심 기술이 될 것이다.
4. **맞춤형(Custom) HBM 시대**: 고객사(NVIDIA, 구글, 메타 등)의 특정 AI 알고리즘에 최적화된 기능을 베이스 다이에 구현하는 '커스텀 HBM' 형태로 진화하여, 범용 메모리에서 특수 목적용 가속 메모리로 성격이 변할 것으로 보인다.
## 용어 사전
* **I/O (Input/Output)**: 데이터가 입력되고 출력되는 통로. I/O 핀 수가 많을수록 한 번에 더 많은 데이터를 주고받을 수 있다.
* **Warpage (휨 현상)**: 열이나 압력으로 인해 얇은 실리콘 웨이퍼나 칩이 휘어지는 현상. 패키징 공정의 정밀도를 떨어뜨리는 주요 원인이 된다.
* **Throttling (쓰로틀링)**: 기기의 온도가 너무 높아졌을 때, 하드웨어를 보호하기 위해 강제로 성능(클럭 속도)을 낮추는 제어 동작.
* **Bump (범프)**: 칩과 칩, 또는 칩과 기판을 연결하기 위해 형성한 작은 전도성 돌기. 하이브리드 본딩은 이 범프 없이 직접 연결하는 기술이다.
## HBM의 생태계 및 가치 사슬(Value Chain)
HBM은 단일 기업의 제조 능력을 넘어, 메모리-파운드리-OSAT-수요처로 이어지는 긴밀한 협력 생태계를 통해 완성된다. 특히 HBM4 세대부터는 베이스 다이의 로직 공정 중요성이 커지며 파운드리와의 결합도가 더욱 심화되는 추세이다.
**[HBM 밸류체인 구성도]**
`웨이퍼 제조(메모리사)` $\rightarrow$ `TSV 및 적층 패키징(메모리사/OSAT)` $\rightarrow$ `인터포저 및 2.5D 패키징(파운드리)` $\rightarrow$ `최종 AI 가속기 조립(NVIDIA/AMD 등)` $\rightarrow$ `클라우드 서비스 제공자(CSP: MS, 구글, AWS 등)`
* **메모리 제조사 (SK하이닉스, 삼성전자, 마이크론)**: DRAM 코어 다이 생산 및 TSV 적층 공정 수행.
* **파운드리 (TSMC, 삼성전자)**: HBM과 GPU/NPU를 연결하는 실리콘 인터포저(Interposer) 제공 및 CoWoS(Chip on Wafer on Substrate)와 같은 첨단 패키징 공정 주도.
* **OSAT (Amkor, ASE 등)**: 최종 패키징 및 테스트 공정 지원.
* **최종 수요처 (NVIDIA, AMD, Intel)**: HBM을 탑재한 AI 가속기(GPU/NPU) 설계 및 제품화.
## HBM의 전력 및 열 관리 솔루션
HBM은 고집적 적층 구조로 인해 발생하는 '열 밀도' 문제가 성능의 최대 병목 지점으로 작용한다. 이를 해결하기 위해 단순한 방열판 부착을 넘어선 엔지니어링적 접근이 시도되고 있다.
* **고열전도성 소재 도입**: 칩 사이의 빈틈을 채우는 MUF(Molded Underfill) 소재의 열전도율을 높이거나, 다이아몬드 라이크 카본(DLC) 등 차세대 고방열 소재를 적용하여 내부 열을 외부로 빠르게 배출한다.
* **액침 냉각 (Immersion Cooling)**: 서버 전체를 전기가 통하지 않는 특수 냉각유에 담그는 방식으로, 공랭식이나 수랭식보다 열 전달 효율이 압도적으로 높아 HBM이 탑재된 고성능 AI 서버의 쓰로틀링 현상을 근본적으로 억제한다.
* **베이스 다이 최적화**: 전력 소비가 많은 로직 회로를 최적화하고, 전압 강하(IR Drop)를 최소화하는 전력 공급망(PDN) 설계를 통해 발열의 원인이 되는 전력 손실을 줄인다.
## 인터포저 기술 및 데이터 경로 분석
HBM의 성능은 프로세서와 메모리 사이의 물리적 연결 통로인 인터포저의 설계 방식에 따라 결정된다.
* **실리콘 인터포저 (Silicon Interposer)**: 실리콘 웨이퍼 공정을 이용해 매우 미세한 회로를 구현한다. 신호 손실이 적고 밀도가 매우 높지만, 제조 비용이 비싸고 크기 확장에 제한이 있다.
* **RDL (Redistribution Layer) 인터포저**: 유기물 기반의 재배선층을 사용하여 실리콘 인터포저보다 비용을 낮추고 크기를 키울 수 있다. 최근에는 실리콘의 성능과 유기물의 경제성을 결합한 하이브리드 형태가 연구되고 있다.
* **물리적 특성**: HBM은 수천 개의 I/O를 통해 데이터를 병렬로 전송하므로, 인터포저 상의 배선 길이(Trace Length)를 최소화하여 신호 지연(Latency)과 전력 소모를 줄이는 것이 핵심이다.
## JEDEC 표준 및 세대별 규격 비교
HBM의 발전은 국제반도체표준협의기구(JEDEC)의 표준 제정을 통해 생태계 호환성을 확보하며 이루어졌다. 표준 규격의 확립은 제조사 간 경쟁을 촉진하는 동시에, NVIDIA와 같은 고객사가 다양한 제조사의 HBM을 선택해 사용할 수 있는 기반이 된다.
### [표 5] HBM 세대별 표준 규격 상세 비교
| 구분 | HBM2 | HBM2E | HBM3 | HBM3E | HBM4 (예정) |
| :--- | :--- | :--- | :--- | :--- | :--- |
| **JEDEC 표준** | HBM2 표준 | HBM2 확장 표준 | HBM3 표준 | HBM3 확장 표준 | HBM4 표준 |
| **I/O 인터페이스** | 1,024-bit | 1,024-bit | 1,024-bit | 1,024-bit | 2,048-bit (예상) |
| **핀당 속도** | $\sim$2.0 Gbps | $\sim$3.2 Gbps | $\sim$6.4 Gbps | $\sim$9.2 Gbps | 10 Gbps+ |
| **최대 대역폭** | $\sim$256 GB/s | $\sim$410 GB/s | $\sim$819 GB/s | $\sim$1.2 TB/s | 2 TB/s+ |
| **전압 (VDD)** | 1.2V | 1.2V | 1.1V | 1.1V | 1.0V 이하 (예상) |
## 최신 공정: 하이브리드 본딩 (Hybrid Bonding)
HBM4 이후의 핵심 게임 체인저로 꼽히는 하이브리드 본딩은 기존의 '범프'라는 중간 매개체 없이 구리(Cu) 전극끼리 직접 접합하는 기술이다.
**[하이브리드 본딩 구조도]**
`기존 방식: [칩 A] $\rightarrow$ [범프(Solder Ball)] $\rightarrow$ [칩 B]`
`하이브리드 본딩: [칩 A (Cu 전극)] $\rightleftharpoons$ [칩 B (Cu 전극)]` (직접 접합)
* **구조적 이점**: 범프가 차지하던 공간이 사라지므로 칩 사이의 간격(Pitch)을 획기적으로 줄일 수 있다. 이는 전체 스택 높이를 낮추어 16단 이상의 고단 적층 시에도 물리적 높이 제한을 극복하게 한다.
* **성능적 이점**: 전도성이 높은 구리로 직접 연결되어 전기적 저항이 감소하고, 데이터 전송 속도가 향상되며, 열 방출 경로가 최적화되어 방열 성능이 크게 개선된다.
## PIM(Processor-in-Memory)과 HBM의 결합
향후 HBM은 단순한 데이터 저장 및 전송 장치를 넘어, 메모리 내부에서 직접 연산을 수행하는 **PIM(Processor-in-Memory)** 기술과 결합하여 진화할 전망이다.
* **연산 패러다임의 변화**: 기존에는 `메모리 $\rightarrow$ CPU/GPU $\rightarrow$ 메모리` 순으로 데이터를 주고받았으나, PIM이 적용된 HBM은 메모리 내부의 베이스 다이나 DRAM 뱅크 내에서 간단한 연산을 직접 처리한다.
* **기대 효과**: 데이터 이동량을 획기적으로 줄여 전력 소비를 낮추고, 메모리 병목 현상을 완전히 제거함으로써 AI 추론 속도를 비약적으로 향상시킬 수 있다. 이는 HBM이 '저장소'에서 '연산 유닛'으로 확장되는 진화 방향을 제시한다.