Почему AI-компьютеры Apple и Xiaomi так одержимы «стеной памяти» | Хроника AI-гаджетов

Смартфоны доминировали в цифровой экосистеме последнее десятилетие: они представляют собой черную дыру для нашего внимания и являются нашими самыми личными随身 вещами. Но с самого начала телефоны создавались для того, чтобы «человек смотрел на них» — вся их логика заканчивается экраном.

Потребности ИИ прямо противоположны: ему необходимо непрерывно воспринимать физический мир — видеть то, что видите вы, слышать то, что слышите вы, быть всегда рядом, а не просыпаться только тогда, когда вы разблокируете экран.

Когда ИИ действительно станет базовой способностью, рано или поздно ему придется вырваться из скорлупы экрана и найти свою собственную форму. Это будет долгий процесс исследований и эволюции.

Отсюда и берет начало рубрика «Хроника AI-гаджетов». Команда ifanr хочет вместе с вами постоянно наблюдать: как ИИ меняет дизайн аппаратного обеспечения, как он перестраивает взаимодействие между человеком и компьютером, и, что еще важнее, — в какой форме ИИ войдет в нашу повседневную жизнь?

Это 23-я статья в рубрике «Хроника AI-гаджетов».

Недавно представленные новые Mac от Apple вновь подняли планку ожиданий от производительности «AI-компьютеров». Компактный Mac mini был официально позиционирован как инструмент для повышения производительности, способный круглосуточно запускать агенты, а профессиональный Mac Studio получил в максимальной конфигурации до 512 ГБ объединенной памяти.

Однако их истинная «сила» кроется в параметре, которому раньше мало кто придавал значение — пропускной способности памяти.

Пропускная способность объединенной памяти стандартной версии M6 достигла 170 ГБ/с, версия M5 Pro увеличила этот показатель до 307 ГБ/с, а топовая M5 Ultra вообще перешагнула терабайтный рубеж, достигнув 1,2 ТБ/с.

В поддержку этих новинок Apple также выпустила для Mac mini рекламный ролик «牛来» (Бычья сила), в котором компактная серебристая коробка обрастает мускулистыми руками.

Совпадение ли, но за день до анонса нового Mac Studio, Xiaomi представила свой флагманский чип для периферийного ИИ Xuanjie O100, пропускная способность памяти которого также достигла 1,22 ТБ/с; а новейшая флагманская потребительская видеокарта NVIDIA RTX 5090, благодаря 32 ГБ памяти GDDR7, увеличила пропускную способность почти до 1,8 ТБ/с.

Архитектурные пути настольных SoC, специализированных периферийных NPU и дискретных GPU совершенно разные, но будь то производители компьютеров, мобильных чипов или видеокарт, все они делают одно и то же — заставляют данные в памяти двигаться быстрее.

ИИ считает все быстрее, и ему все проще «остаться голодным»

Чипмейкеры так сильно бьются за пропускную способность по одной простой причине: сегодняшний ИИ способен на огромные вычисления, но при этом его все легче «заморить голодом» из-за памяти.

Первая реакция многих людей здесь часто такова: разве при оценке памяти мы смотрим не на объем? Чем больше, тем лучше!

На самом деле объем и пропускная способность — совершенно разные вещи. Объем определяет, модель какого размера может вместить этот компьютер, а пропускная способность определяет, с какой скоростью эти данные могут подаваться в вычислительные ядра каждую секунду.

Когда большая модель начинает работать, самым ресурсоемким процессом часто оказываются не сами вычисления, а непрерывное «перемещение данных».

Рис. | Схема префиллинга и вывода LLM | NVIDIA

Когда мы видим в диалоговом окне, как слова появляются одно за другим, на этапе авторегрессионной генерации (Decode) вычислительный блок для создания каждого нового токена должен полностью прочитать миллиарды параметров весов из памяти.

Это как шеф-повар на кухне с невероятно быстрыми руками: само жарение занимает две минуты, но помощник с подготовленными ингредиентами может прийти лишь через полдня. Как бы быстро ни готовил шеф, большую часть времени ему остается лишь стоять у плиты с лопаткой в ожидании.

Будь то CPU, GPU или NPU, все они сейчас упираются в этот барьер. Вычислительная мощность стремительно растет, но скорость расширения каналов памяти за ней не поспевает. Пока модели небольшие, еще можно как-то справляться, но когда дело доходит до больших моделей на десятки или сотни миллиардов параметров, каждый сгенерированный токен требует перемещения огромных массивов данных.

Как бы ни были мощны вычислительные блоки, им приходится тратить уйму времени на ожидание «подкормки» от памяти. В архитектуре компьютеров это явление получило название memory-bound (ограниченность памятью).

Рис. | Составлено на основе открытых данных из интернета

Более быстрая память — еще и более дорогая nМногие люди интуитивно считают, что «32 ГБ определенно дороже 16 ГБ, а 512 ГБ, естественно, дороже 32 ГБ». Но если взглянуть на это с точки зрения цепочки поставок полупроводников, то истинная закономерность такова: **чем больше память, тем она дороже, но чем быстрее память, тем цена растет экспоненциально.**

Чтобы заставить огромные объемы данных двигаться быстрее, нельзя просто наращивать количество чипов: требуются более широкая разрядность шины, высокочастотные интерфейсы, а также крайне сложная передовая упаковка и вертикальное стекирование. Взять, к примеру, HBM (High Bandwidth Memory), ставший сегодня стандартом для AI-серверов: он использует сквозные кремниевые межсоединения (TSV) для вертикального стекирования множества слоев чипов DRAM, а сложность производства и площадь кристалла у него значительно выше, чем у традиционной памяти.

Этот экстремальный спрос на сверхвысокую пропускную способность развязывает на верхнем уровне цепочки поставок глобальную «миграцию производственных мощностей».

По данным TrendForce, из-за резкого роста спроса со стороны AI-центров обработки данных на HBM и высокоспецифицированную серверную память DDR5, три гиганта хранения данных — Samsung, SK Hynix и Micron — направляют все свои ограниченные передовые производственные мощности на удовлетворение корпоративного сегмента.

Это напрямую сжимает пространство предложения для потребительской DRAM для ПК, и даже в традиционный мертвый сезон контрактные цены продолжают расти по сравнению с предыдущими периодами.

В конце прошлого года компания Micron официально объявила о постепенном выходе из потребительского бизнеса по производству памяти под брендом Crucial, перенаправив ресурсы цепочки поставок на более крупных и прибыльных стратегических клиентов; а недавнее прекращение работы авторизованных магазинов третьих сторон SK Hynix в Китае также отражает охлаждение интереса производителей к потребительским каналам.

Рис. | Micron

Когда обычные сборщики ПК колеблются перед ценами, подняв голову, они вдруг осознают: бюджет на установку дополнительной планки памяти незаметно для них вступает в конкуренцию с глобальными AI-центрами обработки данных за одну и ту же партию передовых кремниевых пластин.

Чтобы вычислительная мощность не застревала на перемещении данных, …[原文过长，翻译已截断]