CXL(컴퓨트 익스프레스 링크)을 통해 메모리의 물리적 '용량 확장성' 문제를 해결하는 패러다임을 11편에서 살펴보았습니다. HBM이 엄청난 속도로 데이터를 나르고, CXL이 거대한 창고처럼 용량을 받쳐주는 구조는 현재 AI 데이터센터의 표준으로 자리 잡고 있습니다.

하지만 반도체 엔지니어들은 여기에서 만족하지 않았습니다. "아무리 도로를 넓히고 창고를 크게 지어도, 결국 데이터를 연산 장치(CPU/GPU)까지 '이동'시켜야 한다는 사실 자체는 변하지 않잖아? 그 이동 시간과 전력 소모마저 아예 없앨 수는 없을까?"라는 궁극의 질문을 던지기 시작한 것입니다. 이 질문에 대한 답이 바로 메모리가 직접 계산까지 수행하는 혁신 기술, 'PIM(Processing-In-Memory, 프로세싱 인 메모리)'입니다.

1. 일터와 창고의 경계를 허물다: PIM의 핵심 개념

기존의 컴퓨터는 철저하게 '일하는 곳(연산 장치)'과 '재료를 쌓아두는 창고(메모리)'가 분리되어 있었습니다. 아무리 두 장치가 가까이 붙어 있어도 계산을 하려면 창고에서 재료를 꺼내 일터로 가져와야 하고, 계산이 끝나면 다시 창고로 결과물을 보내야 합니다.

내가 만약 하루에 수십억 번씩 이 창고를 왕복해야 하는 물류 직원의 입장이라면, 아무리 복도가 넓어져도 왕복하는 과정 자체에서 오는 피로감과 시간 낭비에 지쳐버릴 것입니다. 컴퓨터 역시 이 과정에서 막대한 전력을 소모하고 미세한 시간 지연(레이턴시)을 겪습니다.

PIM은 이 구조를 완전히 뒤집어 '창고(메모리) 안에 작은 간이 작업대(연산 장치)'를 차려버린 기술입니다. 간단한 사칙연산이나 반복적인 데이터 계산은 연산 장치로 데이터를 보낼 필요 없이, 메모리 칩 내부에서 자체적으로 해결해 버리는 것입니다. 데이터를 이동시키는 통로의 트래픽을 원천적으로 차단하는 이 혁신은 컴퓨터 구조학 역사상 가장 파격적인 변화 중 하나로 꼽힙니다.

2. PIM이 가져오는 압도적인 효율성과 전력 다이어트

PIM 기술이 AI 반도체 시장에서 주목받는 가장 큰 이유는 '압도적인 에너지 효율성'에 있습니다. 최근 초거대 인공지능을 가동하는 데이터센터들의 가장 큰 고민은 엄청난 전기세와 그로 인한 탄소 배출입니다. 반도체 내부에서 전력이 가장 많이 소비되는 구간은 의외로 계산을 하는 순간이 아니라, 데이터를 한 곳에서 다른 곳으로 '이동시키는 순간'입니다. 전체 소모 전력의 절반 이상이 전선(버스)을 타고 데이터가 흘러갈 때 발생합니다.

PIM은 데이터 이동을 최소화하기 때문에 전력 소비를 극단적으로 줄여줍니다. 실제로 삼성전자나 SK하이닉스가 개발한 PIM 적용 메모리를 기존 AI 가속기에 탑재해 테스트했을 때, 특정 연산에서 성능은 2~3배 이상 향상되면서도 시스템 에너지는 50% 이상 절감되는 경이로운 데이터가 확인되기도 했습니다.

내가 처음 PIM 기술의 실제 벤치마크 결과를 보았을 때, 반도체의 성능 향상이 단순히 나노 공정을 미세화하는 것뿐만 아니라 내부 구조를 영리하게 바꾸는 것만으로도 가능하다는 사실에 전율을 느꼈습니다. 전기 먹는 하마로 불리는 AI 데이터센터의 탄소 중립을 위해서라도 PIM은 선택이 아닌 필수가 되어가고 있습니다.

3. 완벽해 보이는 PIM의 치명적인 걸림돌: 소프트웨어 생태계

하지만 PIM 기술이 당장 모든 컴퓨터에 쓰이지 못하는 데는 명확한 한계와 현실적인 장벽이 존재합니다. 가장 큰 문제는 '소프트웨어와 알고리즘의 호환성'입니다.

지난 수십 년 동안 전 세계의 모든 컴퓨터 프로그램과 운영체제(OS), 그리고 AI 알고리즘은 '계산은 CPU/GPU가 하고, 저장은 메모리가 한다'는 폰 노이만 구조에 맞추어 설계되었습니다. 개발자들 역시 이 규칙에 따라 코드를 짜왔죠. 그런데 갑자기 메모리가 계산을 하겠다고 나서니, 기존의 소프트웨어들이 이 메모리를 어떻게 다루어야 할지 인지하지 못하는 상황이 벌어집니다.

PIM을 제대로 쓰려면 기존의 AI 학습 프레임워크(파이토치, 텐서플로우 등)를 통째로 수정하거나, PIM 전용 컴파일러와 프로그래밍 언어를 새로 만들어 개발자들에게 보급해야 합니다. 아무리 좋은 하드웨어가 있어도 이를 움직일 소프트웨어 생태계가 받쳐주지 못하면 무용지물이 된다는 뜻입니다. 반도체 제조사들이 하드웨어 개발만큼이나 글로벌 소프트웨어 기업들과의 표준화 작업에 천문학적인 공을 들이는 이유가 바로 이 거대한 생태계의 장벽을 넘기 위해서입니다.

  • PIM(프로세싱 인 메모리)은 메모리 반도체 내부에 연산 기능을 통합하여, 데이터가 연산 장치와 메모리를 오가는 이동 경로를 원천적으로 줄여주는 차세대 기술입니다.

  • 데이터 이동 시 발생하는 전력 손실과 시간 지연을 극적으로 줄여주기 때문에, 거대 AI 모델 구동 시 성능 향상과 더불어 엄청난 에너지 절감 효과(전력 다이어트)를 가져옵니다.

  • 하드웨어의 뛰어난 잠재력에도 불구하고, 기존 폰 노이만 구조에 맞춰진 글로벌 소프트웨어 생태계 및 알고리즘과의 호환성을 해결해야 하는 거대한 숙제를 안고 있습니다.

메모리 안에서 계산까지 끝내는 PIM 기술은 미래 컴퓨팅의 모습을 혁신적으로 바꾸고 있습니다. 그렇다면 이러한 최첨단 고대역폭, 대용량, 연산형 메모리 기술의 정점들이 모인 HBM을 우리는 언제쯤 일상에서 만나볼 수 있을까요? 다음 편에서는 일반 소비자가 HBM이 탑재된 스마트폰이나 PC를 언제쯤 쓸 수 있을지, 상용화의 걸림돌과 단가 문제에 대해 현실적으로 짚어보겠습니다.