애플·샤오미 AI PC가 '메모리 벽'에 사활을 거는 이유｜AI 기물지
스마트폰은 지난 10여 년간 디지털 생태계를 지배해왔다. 그것은 주의력의 블랙홀이며, 우리가 가진 가장 사적인 휴대물이다. 하지만 스마트폰은 애초 설계부터 '사람이 화면을 들여다보는' 것에 맞춰져 태어났다. 그 모든 논리는 화면에서 끝난다.
AI의 요구는 정반대다. AI는 물리적 세계를 지속적으로 인식해야 한다. 당신이 보는 것을 보고, 듣는 것을 들으며, 언제나 현장에 대기해야지, 당신이 화면을 잠금 해제할 때까지 기다렸다 깨어나는 것이 아니다.
AI가 진정한 기초 능력이 되려면, 언젠가는 화면 속을 깨고 나와 자신만의 형태를 찾아야 한다. 이는 긴 탐색과 진화의 과정이 될 것이다.
'AI 기물지(器物志)' 코너는 이로부터 비롯되었다. 아이판르(ifanr)는 여러분과 함께 지속적으로 관찰하고자 한다. AI가 하드웨어 설계를 어떻게 바꾸고, 인간-기계 상호작용을 어떻게 재편하며, 더 나아가 어떤 형태로 우리의 일상에 들어올 것인지를.
이는 'AI 기물지'의 제 23번째 글이다.
애플이 얼마 전 출시한 신형 Mac은 다시 한번 'AI PC'의 성능 기대치를 높였다. 소형 Mac mini는 공식적으로 하루 종일 에이전트(Agent)를 구동하는 생산성 도구로 정의되었고, 프로급 Mac Studio는 최대 512GB의 통합 메모리를 제공한다.
하지만 이들이 진정으로 '강력한' 부분은 과거에는 모두가 그다지 관심을 두지 않았던 매개변수에 숨어 있다. 바로 메모리 대역폭이다.
표준형 M6의 통합 메모리 대역폭은 170GB/s에 달하고, M5 Pro 버전은 307GB/s로 끌어올렸으며, 최상위 모델인 M5 Ultra는 TB 단위의 관문을 넘어 1.2TB/s에 도달했다.
이번 신제품에 맞춰 애플은 Mac mini를 위한 '소가 온다'는 홍보 영상을 촬영하며, 작은 은색 사각 박스가 굵고 강건한 근육질 팔을 달아냈다.
우연의 일치로, 새로운 Mac Studio가 발표되기 전날 샤오미가 공개한 온디바이스 AI 가속 칩 현계(玄戒) O100 역시 메모리 대역폭을 1.22TB/s로 끌어올렸다. 또한 엔비디아의 최신 소비자용 플래그십 그래픽 카드 RTX 5090은 32GB GDDR7 메모리를 바탕으로 대역폭을 거의 1.8TB/s까지 밀어붙였다.
데스크톱 SoC, 온디바이스 전용 NPU, 독립 GPU의 아키텍처 경로는 판이하게 다르다. 하지만 PC를 만들든, 휴대폰 칩을 만들든, 그래픽 카드를 만들든, 모두가 암묵적으로 같은 일을 하고 있다. 바로 메모리 속 데이터를 더 빠르게 달리게 만드는 것이다.
AI는 갈수록 빠르게 연산하지만, 갈수록 '배고파'하기 쉽다
칩 제조사들이 대역폭 확보에这么大 공을 들이는 근본적인 이유는, 오늘날 AI가 연산 능력이 높아진 만큼이나 메모리 때문에 쉽게 '굶주릴' 수 있기 때문이다.
여기서 많은 사람들의 첫 반응은 이럴 것이다. 메모리는 용량을 보는 게 아니던가? 크면 좋은 것이고, 좋은 것은 큰 것이다!
사실 용량과 대역폭은 완전히 다른 문제다. 용량은 이 PC가 얼마나 큰 모델을 담을 수 있는지를 결정하지만, 대역폭은 이 데이터를 매초 얼마나 빠르게 연산 코어에 먹여줄 수 있는지를 결정한다.
대형 모델이 일단 돌아가기 시작하면, 자원을 가장 많이 소모하는 것은 단순한 연산이 아니라 처음부터 끝까지 이어지는 '데이터 이동'이다.
图｜LLM 预填充-输出示意｜NVIDIA
우리가 평소 대화 상자에서 글자가 하나씩 튀어나오는 것을 볼 때, 자기회귀 생성(Decode) 단계에서 연산 유닛은 새로운 토큰을 하나 생성할 때마다 메모리에 있는 수십억, 수백억 개의 매개변수 가중치를 전부 읽어들여야 한다.
마치 주방에서 손놀림이 매우 빠른 셰프가 2분 만에 볶아낼 수 있지만, 재료 담당 직원은 반나절이 걸려야 잘게 썬 식재료 한 접시를 가져오는 것과 같다. 셰프가 아무리 빨리 볶아도 대부분의 시간은 주걱을 쥐고 불 앞에서 하염없이 기다리는 데 쓰인다.
CPU, GPU, NPU를 불문하고 현재 모두 이 장벽에 막혀 있다. 연산 능력은 계속해서 폭발적으로 증가하지만, 메모리 채널의 확장 속도는 이를 따라가지 못한다. 모델이 작을 때는 그럭저럭 버틸 수 있지만, 수십 B, 수백 B 단위의 대형 모델이 되면 단어 하나를 뱉어낼 때마다 막대한 데이터를 주고받아야 한다.
연산 유닛이 아무리 연산을 잘해도, 대부분의 시간을 메모리가 밥을 주길 기다리는 데 허비할 수밖에 없다. 이러한 현상은 컴퓨터 구조에서 메모리 바운드(memory-bound, 메모리 제한)라고 불린다.
图｜整理自互联网公开信息
더 빠른 메모리, 그리고 더 비싼 가격
많은 사람들이 메모리 가격을 볼 때, 직관적으로 '32GB가 당연히 16GB보다 비싸고, 512GB는 당연히 32GB보다 비싸다'고 생각한다. 하지만 반도체 공급망에 시선을 두면, 진짜 법칙은 사실 이렇다. 용량이 클수록 비싸지만, 속도가 빠를수록 가격은 지수 함수적으로 급등한다.
막대한 데이터를 더 빠르게 처리하려면 단순히 칩을 쌓는 것만으로는 부족하고, 더 넓은 비트 폭, 더 높은 주파수의 인터페이스, 그리고 극도로 복잡한 첨단 패키징과 수직 적층이 필요하다. 오늘날 AI 서버의 표준인 HBM(고대역폭 메모리)을 예로 들면, 다층 DRAM 칩을 수직으로 구멍 뚫어 적층(TSV)하는데, 제조 난도와 칩 면적이 기존 메모리를 훨씬 뛰어넘는다.
이러한 초고대역폭에 대한 극단적인 갈망은 상류 산업에서 글로벌 '생산 대이동'을 일으키고 있다.
TrendForce의 조사 데이터에 따르면, AI 데이터 센터의 HBM 및 고사양 서버 DDR5에 대한 수요 폭증으로 인해 삼성, SK 하이닉스, 마이크론 등 3대 메모리 거두는 제한된 첨단 웨이퍼 생산 능력을 기업용으로 집중시키고 있다.
이는 소비자용 PC DRAM에 할당된 공급 공간을 직접적으로 압박하여, 전통적인 비수기임에도 계약 가격이 전월 대비 지속적으로 상승하고 있다.
작년 말, 마이크론은 크루셜(Crucial) 소비자용 메모리 사업에서 점진적으로 철수하겠다고 공식 발표하며 공급망 자원을 규모가 더 크고 수익성이 높은 전략 고객에게 전면적으로 쏟기 시작했다. 국내 SK 하이닉스의 서드파티 브랜드 인증 매장이 최근 운영을 종료한 것 역시 상류 원천 제조사의 소비자 채널에 대한 외면을 반영한다.
图｜美光
일반 조립자가 가격을 두고 망설일 때, 고개를 들어보니 자신이 메모리를 한 대 추가하는 예산이 보이지 않는 곳에서 글로벌 AI 데이터 센터와 같은 첨단 웨이퍼를 두고 경쟁하고 있다는 사실을 깨닫게 된다.
연산이 데이터 이동에 막히지 않도록,