반도체 뉴스를 읽다 보면 성능을 나타내는 수많은 단위와 용어 때문에 머리가 아파지곤 합니다. 1편에서 HBM(고대역폭 메모리)이 AI 시대의 필수재가 된 배경을 살펴보았지만, "그래서 내가 쓰는 컴퓨터에 들어가는 DDR 메모리랑 도대체 무엇이 얼마나 다른 거지?"라는 의문이 생기는 것은 당연합니다. 처음 반도체 공부를 시작할 때 가장 헷갈리는 이 개념을, 오늘은 우리가 매일 이용하는 '도로와 자동차'라는 아주 직관적인 비유를 통해 명쾌하게 풀어보겠습니다.

1. 차선 수의 기적: 64차선 대 1,024차선의 전쟁

우리가 PC를 조립하거나 노트북을 살 때 흔히 보는 DDR4, DDR5 메모리는 '일반 도로'와 같습니다. 반면 HBM은 수천 개의 차선이 깔린 '초대형 고속도로'에 비유할 수 있습니다.

반도체 성능을 결정하는 핵심 요소 중 하나는 데이터를 한 번에 얼마나 많이 보낼 수 있느냐를 뜻하는 '버스 폭(Bus Width)'입니다. 쉽게 말해 데이터가 지나다니는 '차선의 수'라고 생각하면 됩니다. 우리가 흔히 쓰는 DDR5 메모리는 한 번에 데이터를 보낼 수 있는 통로가 32차선에서 최대 64차선 정도에 불과합니다. 반면 4세대 HBM3나 5세대 HBM3E 같은 HBM 메모리는 기본적으로 1,024차선에서 최신 규격의 경우 2,048차선 이상의 통로를 가집니다.

내가 만약 수백만 대의 차량(데이터)을 한 번에 목적지로 보내야 하는 교통 통제관이라고 가정해 봅시다. 64차선 도로와 1,024차선 도로 중 어디가 더 막힘없이 시원하게 뚫릴지는 보지 않아도 뻔한 일입니다. 바로 이 차선의 압도적인 차이가 HBM과 기존 DDR 메모리를 가르는 첫 번째 결정적 차이입니다.

2. 대역폭(Bandwidth)이란 무엇인가? 속도와 차선의 상관관계

기술 문서에 자주 등장하는 '대역폭'이라는 단어는 일정한 시간 동안 전송할 수 있는 데이터의 총량을 의미합니다. 공식으로 보면 매우 간단합니다. '대역폭 = 도로의 차선 수(버스 폭) x 자동차의 주행 속도(동작 속도)'입니다.

여기서 재미있는 반도체의 물리적 한계가 등장합니다. 기존 DDR 메모리는 차선 수(64차선)를 늘리기가 구조적으로 매우 어렵습니다. 메인보드 바닥에 회선을 촘촘하게 깔아야 하는데, 너무 많이 깔면 신호가 서로 간섭을 일으켜 불량이 나기 때문입니다. 그래서 DDR 메모리는 차선을 늘리는 대신, 자동차의 속도(클럭 속도)를 엄청나게 끌어올리는 방향으로 발전해 왔습니다. 시속 100km로 달리던 차를 시속 300km, 400km로 폭주하게 만든 것입니다.

처음에는 이 방식이 잘 통했습니다. 하지만 자동차 속도를 무작정 올리다 보니 치명적인 문제가 발생했습니다. 차가 너무 빨리 달리면 엔진이 과열되듯, 반도체도 속도를 높일수록 전력 소비가 극도로 심해지고 엄청난 열이 발생하게 된 것입니다.

HBM은 이 문제를 완전히 다른 시각으로 해결했습니다. "차가 빨리 달리기 힘들다면, 속도를 조금 낮추는 대신 차선을 수천 개로 늘리면 되잖아?"라는 역발상입니다. HBM은 기존 DDR보다 자동차 속도(동작 속도) 자체는 오히려 느리거나 비슷한 수준 유지합니다. 대신 차선 수를 16배 이상 늘려버렸기 때문에, 차들이 시속 60km로 천천히 안전하게 달려도 전체 데이터 전송량(대역폭)은 DDR 메모리를 아득히 초월하게 됩니다. 결과적으로 전력은 덜 쓰면서도 훨씬 많은 데이터를 순식간에 나를 수 있는 시스템이 완성된 것입니다.

3. 물리적 거리의 혁신: 옆 동네에서 같은 아파트로

구조적인 배치도 완전히 다릅니다. 일반적인 PC를 열어보면 중앙의 CPU가 있고, 조금 떨어진 곳에 DDR 메모리 슬롯이 나란히 꽂혀 있습니다. 두 칩 사이를 연결하는 기나긴 평면 도로가 필요한 구조입니다. 거리가 멀다 보니 데이터를 주고받는 데 미세한 시간 지연(레이턴시)이 발생할 수밖에 없습니다.

반면 HBM은 1편에서 언급했듯이 D램을 위로 쌓아 올린 후, 이를 연산 장치(GPU)와 수 밀리미터(mm) 이내의 초근접 거리에 바짝 붙여 배치합니다. '실리콘 인터포저'라는 특수한 판 위에 GPU와 HBM을 이웃집처럼 한 지붕 아래 모아두는 칩렛(Chiplet) 패키징 기술을 사용합니다. 옆 동네에 살던 물류 창고(메모리)를 아예 공장(GPU) 바로 옆동 건물로 이전시킨 셈입니다. 이 물리적 거리의 단축은 데이터가 이동할 때 소모되는 에너지를 획기적으로 줄여주는 결정적 요인이 됩니다.

결론적으로 DDR 메모리가 '빠른 속도로 소량의 화물을 자주 나르는 스포츠카'라면, HBM은 '엄청난 양의 화물을 한 번에 싣고 짧은 거리를 이동하는 대형 컨테이너 트럭 부대'라고 이해하시면 정확합니다. 일반적인 인터넷 서핑이나 게임을 할 때는 스포츠카(DDR)로도 충분하지만, 수조 개의 데이터를 동시에 처리해야 하는 인공지능 인프라에서는 컨테이너 트럭 부대(HBM)가 없으면 작업 자체가 불가능한 이유가 바로 여기에 있습니다.

[핵심 요약 3줄]

  • DDR 메모리는 데이터 통로(차선)가 64개로 적은 대신 속도를 높이는 방식을 쓰며, HBM은 속도를 낮추는 대신 통로를 1,024개 이상으로 늘려 대역폭을 극대화했습니다.

  • HBM은 무리하게 속도를 올리지 않기 때문에 기존 DDR 방식을 고속화할 때 발생하는 극심한 전력 소모와 발열 문제를 구조적으로 완화할 수 있습니다.

  • 메인보드상에서 거리를 두고 배치되는 DDR 메모리와 달리, HBM은 GPU 바로 옆에 초근접 배치되어 데이터 이동 시간과 에너지 손실을 최소화합니다.

[다음 편 예고]

D램 칩을 아파트처럼 수직으로 높게 쌓아 올리고 수천 개의 차선을 뚫는 다는 것은 말은 쉽지만 엄청난 고난도의 공정 기술이 필요합니다. 다음 편에서는 HBM 제조의 핵심이자 반도체 미세 공정의 꽃이라 불리는 'TSV(관통전극)' 기술과 최신 패키징 원리를 알기 쉽게 파헤쳐 보겠습니다.