4편에서 1세대부터 차세대 HBM4까지의 세대별 발전사와 로드맵을 짚어보았습니다. 기술이 이토록 빠르게 진화한 중심에는 전 세계 인공지능(AI) 인프라 시장을 장악하고 있는 엔비디아(NVIDIA)가 있습니다. 뉴스에서는 늘 엔비디아의 AI 가속기(H100, B200 등)와 HBM을 묶어서 이야기하는데요. 스마트폰이나 고사양 게이밍 PC에 들어가는 일반 D램이나 GDDR 메모리 대신, 왜 수천만 원을 호가하는 AI GPU에는 오직 HBM만 고집스럽게 쓰이는 걸까요? 오늘은 두 장치의 끈끈한 공생 관계와 그 속에서 일어나는 연산 메커니즘을 쉽게 풀어보겠습니다.

1. 폰 노이만 병목 현상과 AI 연산의 특수성

우리가 쓰는 대부분의 컴퓨터는 '폰 노이만 구조'를 따릅니다. 천재 수학자 폰 노이만이 고안한 이 시스템은 계산을 하는 두뇌(CPU/GPU)와 데이터를 저장하는 창고(메모리)가 서로 독립되어 있고, 그 사이의 통로를 통해 데이터를 주고받는 방식입니다.

일반적인 컴퓨터 작업에서는 이 구조가 아무런 문제가 되지 않습니다. 하지만 생성형 AI의 등장으로 판이 완전히 바뀌었습니다. 수조 개의 매개변수(파라미터)를 가진 거대 언어 모델을 학습시킬 때는 처리가 필요한 데이터의 양이 상상을 초월합니다.

문제는 GPU의 계산 속도가 100배 빨라질 때, 메모리가 데이터를 보내주는 속도는 2~3배밖에 빨라지지 않았다는 점입니다. 내가 만약 수천만 원짜리 초고속 인공지능 계산기를 사둔 연구원이라면, 계산기 자체는 빛의 속도로 일할 준비가 되었는데 데이터를 가져오는 통로가 막혀 멍하니 멈춰 있는 모습을 보며 엄청난 답답함을 느꼈을 것입니다. 반도체 학계에서는 이를 '폰 노이만 병목 현상'이라 부르며, AI 연산의 효율을 가로막는 가장 큰 벽으로 꼽았습니다.

2. 엔비디아가 HBM의 손을 잡은 이유: 초당 테라바이트급 수송 작전

엔비디아가 개발한 H100이나 차세대 블랙웰(Blackwell) 같은 AI 가속기는 수백 장의 일반 그래픽카드를 하나로 뭉쳐놓은 것과 같은 무시무시한 연산력을 자랑합니다. 이 거대한 두뇌가 쉬지 않고 100%의 성능을 내려면, 초당 수 테라바이트(TB)의 데이터를 끊김 없이 들이부어 주어야 합니다.

여기에 딱 들어맞는 유일한 해결책이 바로 HBM이었습니다. 2편에서 설명해 드렸듯이 HBM은 속도를 무작정 높이는 대신, 데이터가 지나다니는 차선(버스 폭)을 1,024개에서 2,048개로 대폭 늘린 메모리입니다.

만약 엔비디아가 HBM 대신 기존의 고성능 그래픽 메모리인 GDDR6를 여러 개 이어 붙여 이 대역폭을 구현하려 했다면 어떻게 되었을까요? 메인보드 바닥이 메모리 칩과 복잡한 회선으로 가득 차서 인공지능 가속기의 크기가 거대한 냉장고만 해졌을 것입니다. 회선이 길어지면서 소모되는 전력과 엄청난 열은 덤입니다. 반면 HBM은 GPU 바로 옆에 초근접 배치되는 '2.5D 패키징' 구조 덕분에, 단 한 뼘도 되지 않는 작은 칩셋 공간 안에서 초당 1TB가 넘는 압도적인 데이터 수송 작전을 완벽하게 수행해 냅니다.

3. 단순한 부품을 넘어선 공생 관계의 딜레마

이 때문에 엔비디아의 AI 가속기와 HBM은 단순한 '갑과 을'의 거래 관계를 넘어섰습니다. 두 장치는 설계 단계에서부터 철저하게 맞물려 돌아가도록 기획됩니다. HBM의 수율이 떨어지거나 공급이 지연되면 엔비디아 역시 최고의 AI 가속기를 만들어낼 수 없고, 반대로 엔비디아의 칩 수요가 꺾이면 HBM을 만드는 메모리 반도체 기업들도 직격탄을 맞게 됩니다.

처음 반도체 시장을 관찰할 때 "엔비디아가 시장을 독점하고 있으니 무조건 유리하겠네"라고 생각하기 쉽지만, 사실 엔비디아 역시 HBM 공급망을 안정적으로 확보하기 위해 상상 이상의 공을 들입니다. 특정 메모리 기업에만 의존하지 않으려고 한국과 미국의 주요 반도체 제조사들의 퀄리티 테스트(품질 검증)를 깐깐하게 진행하며 밀당을 벌이는 이유가 바로 여기에 있습니다. AI GPU와 HBM은 인공지능이라는 거대한 탑을 지탱하기 위해 서로가 없으면 무너지는 가장 완벽한 기술적 공생 관계를 이어가고 있습니다.

[핵심 요약 3줄]

  • 거대 생성형 AI 모델을 학습시킬 때 발생하는 데이터 지연 현상인 '폰 노이만 병목 현상'을 해결하기 위해 AI GPU에는 고대역폭을 가진 HBM이 필수적입니다.

  • 기존 GDDR 메모리로 AI 가속기에 필요한 대역폭을 맞추려면 공간과 전력 소모가 기하급수적으로 늘어나기 때문에, 구조적으로 컴팩트한 HBM 배치가 유일한 대안입니다.

  • 엔비디아의 가속기와 HBM은 설계 단계부터 긴밀하게 결합하는 기술적 공생 관계이며, 글로벌 AI 인프라 시장의 패권을 결정짓는 핵심 열쇠입니다.

[다음 편 예고]

이처럼 완벽해 보이는 HBM이지만, 태생적으로 칩을 빽빽하게 뭉쳐 쌓아 올렸기 때문에 컴퓨터의 가장 큰 적인 '열(Heat)'에 치명적이라는 약점이 있습니다. 다음 편에서는 HBM 제조의 숨은 복병이자 난제인 발열 문제의 원인과, 이를 해결하기 위한 방열 기술 혁신에 대해 심도 있게 다루어 보겠습니다.