Warum Apple und Xiaomi bei ihren AI-PCs die "Memory Wall" knacken | AI-Hardware-Chronik

Smartphones haben das digitale Ökosystem der letzten zehn Jahre dominiert. Sie sind Löcher der Aufmerksamkeit und unsere intimsten Begleiter. Doch von Grund auf wurden sie dafür entworfen, dass der Mensch auf sie starrt – ihre gesamte Logik endet am Bildschirm.

Die Anforderungen der KI sind jedoch genau entgegengesetzt: Sie erfordert eine kontinuierliche Wahrnehmung der physischen Welt – sehen, was du siehst, hören, was du hörst, immer präsent, anstatt darauf zu warten, dass du den Bildschirm entsperrierst.

Wenn KI wirklich zu einer Grundfähigkeit wird, wird sie früher oder später aus dem Bildschirm ausbrechen und ihre eigene Form finden. Dies wird ein langer Prozess der Erkundung und Evolution sein.

Daher rührt die Kolumne „AI-Hardware-Chronik“. ifanr möchte gemeinsam mit Ihnen kontinuierlich beobachten: Wie verändert KI das Hardware-Design, wie formt sie die Mensch-Computer-Interaktion neu und – was noch wichtiger ist – in welcher Form wird KI in unseren Alltag einziehen?

Dies ist der 23. Artikel der „AI-Hardware-Chronik“.

Die kürzlich von Apple veröffentlichten neuen Macs haben die Leistungserwartungen an „AI-PCs“ erneut übertroffen. Der kompakte Mac mini wird vom Hersteller direkt als Produktivitätswerkzeug definiert, das rund um die Uhr Agents ausführt, während das professionelle Mac Studio direkt mit bis zu 512 GB Unified Memory ausgestattet wird.

Ihre wahre Stärke verbirgt sich jedoch in einem Parameter, der in der Vergangenheit wenig Beachtung fand: Speicherbandbreite.

Die Unified-Memory-Bandbreite des Standard-M6 erreicht 170 GB/s, die M5 Pro-Version steigt auf 307 GB/s, und das Top-Modell M5 Ultra überschreitet sogar die TB-Schwelle und erreicht 1,2 TB/s.

Um die neuen Produkte zu begleiten, drehte Apple für den Mac mini einen Werbespot namens „Niu Lai“, in dem die kleine silberne Box muskulöse Arme wachsen lässt.

Zufällig veröffentlichte Xiaomi am Tag vor der Vorstellung des neuen Mac Studio seinen On-Device-KI-Beschleuniger Xuanjie O100, der die Speicherbandbreite ebenfalls auf 1,22 TB/s bringt. Nvidias aktuellster Consumer-Flagship-Grafikprozessor RTX 5090 erreicht dank 32 GB GDDR7-VRAM sogar eine Bandbreite von knapp 1,8 TB/s.

Die Architekturpfade von Desktop-SoCs, dedizierten On-Device-NPUs und separaten GPUs weichen stark voneinander ab. Doch egal, ob Computer-, Smartphone-Chip- oder Grafikkartenhersteller – alle tun unisono dasselbe: Sie lassen die Daten im Speicher schneller laufen.

KI rechnet immer schneller, hat aber zunehmend „Hungersnot“

Dass die Chiphersteller so viel Mühe auf die Bandbreite verwenden, liegt letztendlich daran, dass die heutige KI immer mehr rechnen kann, aber gleichzeitig immer leichter vom Speicher „ausgehungert“ wird.

Die erste Reaktion vieler Menschen lautet oft: Bei Speicher kommt es doch nur auf die Kapazität an! Groß ist gut, gut ist groß!

Tatsächlich sind Kapazität und Bandbreite zwei völlig verschiedene Dinge. Die Kapazität bestimmt, wie groß das Modell ist, das dieser Computer fassen kann, während die Bandbreite festlegt, wie schnell diese Daten pro Sekunde den Rechenkernen zugeführt werden können.

Wenn ein großes Modell läuft, ist die ressourcenintensivste Aufgabe oft nicht das bloße Rechnen, sondern das durchgehende „Datenumladen“.

Bild | LLM-Prefill-Decode-Schema | NVIDIA

Wenn wir im Dialogfeld sehen, wie Wörter nacheinander erscheinen, müssen die Recheneinheiten in der autoregressiven Generierungsphase (Decode) bei der Erstellung jedes neuen Tokens die Milliarden Parametergewichte im Speicher vollständig einlesen.

Das ist wie ein Koch in der Küche mit extremem Tempo: Das Pfannenrühren dauert nur zwei Minuten, aber der Vorbereiter braucht ewig, um eine Schüssel mit geschnittenen Zutaten zu bringen. Egal wie schnell der Koch brät, die meiste Zeit steht er nur mit dem Pfannenwender am Herd und wartet.

Egal ob CPU, GPU oder NPU – alle hängen an diesem Hindernis fest. Die Rechenleistung rast voran, aber die Geschwindigkeit, mit der sich Speicherkanäle erweitern lassen, kann nicht mithalten. Bei kleinen Modellen geht es noch, aber sobald Modelle mit mehreren Dutzend oder Hunderten Milliarden Parametern zum Einsatz kommen, muss für jedes einzelne Wort ein massiver Datendurchsatz bewältigt werden.

Egal wie stark die Recheneinheiten rechnen können, sie verschwenden viel Zeit damit, auf die Fütterung durch den Speicher zu warten. Dieses Phänomen wird in der Computerarchitektur als „Memory-bound“ (speicherlimitiert) bezeichnet.

Bild | Zusammengestellt aus öffentlich zugänglichen Internetquellen

Schnellerer Speicher ist auch teurer nViele Menschen denken beim Preis von Speicher intuitiv: „32 GB ist sicher teurer als 16 GB, 512 GB natürlich teurer als 32 GB.“ Wenn man jedoch die Halbleiter-Lieferkette betrachtet, lautet die wahre Regel: **Größerer Speicher ist teurer, aber schnellerer Speicher wird exponentiell teurer.**

Um riesige Datenmengen schneller zu bewegen, reicht es nicht, einfach mehr Speicherchips zu stapeln. Man benötigt eine breitere Bitbreite, hochfrequente Schnittstellen und extrem komplexe fortschrittliche Verpackungstechnologien und vertikales Stacking. Am Beispiel des HBM (High Bandwidth Memory), das heute in KI-Servern zum Standard gehört: Es stapelt mehrere DRAM-Chips vertikal mittels Durchkontaktierungen (TSV).

Die Herstellungsschwierigkeit und die Chipfläche übersteigen die herkömmlicher Speicher bei Weitem.

Dieser extreme Durst nach ultrahoher Bandbreite löst im Upstream eine weltweite „Kapazitätsmigration“ aus.

Daten von TrendForce zeigen, dass die drei Speichergiganten Samsung, SK Hynix und Micron aufgrund der explosionsartig gestiegenen Nachfrage der KI-Rechenzentren nach HBM und hochspezifiziertem Server-DDR5 ihre begrenzten fortschrittlichen Wafer-Kapazitäten voll auf den Unternehmensbereich ausrichten.

Dies quetscht das für Consumer-PC-DRAM verbleibende Angebot direkt aus. Selbst in der traditionellen Nebensaison steigen die Vertragspreise weiterhin sequenziell an.

Ende letzten Jahres gab Micron den schrittweisen Ausstieg aus dem Consumer-Speichergeschäft von Crucial bekannt und lenkte die Ressourcen der Lieferkette vollständig auf größere, profitablere strategische Kunden. Auch die kürzliche Einstellung des Betriebs von autorisierten Drittanbieter-Stores von SK Hynix im Inland spiegelt die Vernachlässigung des Consumer-Kanals durch die Upstream-Hersteller wider.

Bild | Micron

Wenn gewöhnliche PC-Builder bei den Preisen zögern und aufschauen, stellen sie fest: Das Budget für den Einbau eines zusätzlichen Speicherriegels konkurriert unbewusst mit den globalen KI-Rechenzentren um dieselben fortschrittlichen Wafer.

Damit die Rechenleistung nicht beim Datentransport hängen bleibt,