Por qué los ordenadores con IA de Apple y Xiaomi se obsesionan con el «muro de la memoria» | Crónica de Artefactos IA

Los smartphones han dominado el ecosistema digital de la última década. Son agujeros negros para nuestra atención y nuestros objetos personales más íntimos. Pero, desde su diseño original, los teléfonos nacieron para que «la gente los mire»: toda su lógica termina en la pantalla.

Las necesidades de la IA son justamente las opuestas: requiere percibir continuamente el mundo físico: ver lo que tú ves, oír lo que tú oyes, estar siempre presente, en lugar de esperar a que desbloquees la pantalla para despertar.

Cuando la IA se convierta verdaderamente en una capacidad básica, tarde o temprano romperá su cáscara desde la pantalla y buscará su propia forma. Este será un largo proceso de exploración y evolución.

De ahí surge la sección «Crónica de Artefactos IA». ifanr quiere observar con usted continuamente: cómo la IA cambia el diseño del hardware, cómo remodela la interacción humano-computadora y, lo más importante, bajo qué formas la IA entrará en nuestra vida cotidiana.

Este es el artículo número 23 de «Crónica de Artefactos IA».

Los nuevos Mac que Apple presentó hace poco han vuelto a actualizar las expectativas de rendimiento de los «ordenadores con IA». El compacto Mac mini ha sido definido directamente por la marca como una herramienta de productividad para ejecutar Agentes las 24 horas, mientras que el Mac Studio de nivel profesional ofrece hasta 512 GB de memoria unificada.

Sin embargo, su verdadero punto «fuerte» se esconde en un parámetro al que antes casi nadie prestaba atención: el ancho de banda de la memoria.

El ancho de banda de la memoria unificada de la versión estándar del M6 alcanza los 170 GB/s; la versión M5 Pro sube a 307 GB/s, y la configuración tope de gama del M5 Ultra supera directamente la barrera del TB, llegando a 1,2 TB/s.

Para acompañar estos nuevos productos, Apple incluso filmó un anuncio promocional para el Mac mini mostrando cómo la pequeña caja plateada desarrollaba unos brazos musculosos y robustos.

Casualmente, justo un día antes del lanzamiento del nuevo Mac Studio, el chip acelerador de IA en dispositivo presentado por Xiaomi, el Xuanjie O100, también logró un ancho de banda de memoria de 1,22 TB/s; mientras que la actual tarjeta gráfica de consumo insignia de Nvidia, la RTX 5090, gracias a su memoria GDDR7 de 32 GB, alcanza un ancho de banda cercano a los 1,8 TB/s.

Las rutas arquitectónicas de los SoC de escritorio, las NPU dedicadas en dispositivo y las GPU independientes son muy diferentes, pero ya sea fabricando ordenadores, chips para teléfonos o tarjetas gráficas, todos están haciendo involuntariamente lo mismo: hacer que los datos en la memoria se muevan más rápido.

La IA calcula cada vez más rápido, y también es más fácil que «se quede sin alimento»

Que las fábricas de chips se esfuercen tanto por competir en ancho de banda se debe, en el fondo, a que la IA de hoy tiene cada vez más capacidad de cálculo, pero también es más fácil que la memoria la pase «hambrienta».

La primera reacción de mucha gente suele ser: ¿Acaso la memoria no se mide por su capacidad? ¡Cuanto más grande, mejor!

En realidad, la capacidad y el ancho de banda son cosas completamente distintas. La capacidad determina qué tamaño de modelo puede albergar este ordenador, mientras que el ancho de banda determina a qué velocidad por segundo se pueden alimentar esos datos a los núcleos de cálculo.

Una vez que un modelo grande comienza a funcionar, lo que más recursos consume a menudo no es el cálculo puro, sino el «traslado de datos» que atraviesa todo el proceso.

Imagen | Esquema de prefill-decode de LLM | NVIDIA

Cuando vemos en el cuadro de diálogo cómo las palabras aparecen una tras otra, en la fase de generación autorregresiva (Decode), por cada nuevo token que genera la unidad de cálculo, debe leer por completo los miles de millones de parámetros de peso en la memoria.

Es como un chef en la cocina con manos muy rápidas: el salteado le toma solo dos minutos, pero el ayudante tarda una eternidad en traer un plato de ingredientes ya cortados. Por muy rápido que saltee el chef, la mayor parte del tiempo solo podrá sostener la espátula esperando frente a la estufa.

Ya sea la CPU, la GPU o la NPU, todas están atascadas en este mismo obstáculo. El poder de cómputo se dispara a toda velocidad, pero la ampliación de los canales de memoria no logra seguir el ritmo. Cuando el modelo es pequeño, aún se puede arreglar, pero una vez que se usan modelos grandes de varias decenas o centenas de miles de millones de parámetros (B), escupir cada palabra requiere procesar un volumen masivo de datos.

Por mucha capacidad de cálculo que tengan las unidades de procesamiento, solo pueden perder un montón de tiempo esperando a que la memoria les dé de comer. Este fenómeno se conoce en la arquitectura de computadoras como *memory-bound* (limitado por la memoria).

Imagen | Compilado a partir de información pública en internet

Memoria más rápida, también más cara nMucha gente, al mirar los precios de la memoria, suele tener la intuición de que «32 GB seguro que es más caro que 16 GB, y 512 GB naturalmente más caro que 32 GB». Pero si se observa desde la cadena de suministro de semiconductores, la verdadera regla es: **cuanto más grande es la memoria, más cara es, pero cuanto más rápida es, su precio aumenta de forma exponencial.**

Para que los datos masivos se muevan más rápido, no basta con apilar más chips; se requiere un ancho de bits mayor, interfaces de mayor frecuencia y un empaquetado avanzado y apilamiento vertical extremadamente complejos. Tomemos como ejemplo la HBM (memoria de alto ancho de banda), estándar actual en los servidores de IA: perfora y apila verticalmente múltiples capas de chips DRAM (TSV), y su dificultad de fabricación y área de chip superan con creces a las de la memoria tradicional.

Esta sed extrema de un ancho de banda ultraalto está desatando en la industria上游 una «gran migración de capacidad» a nivel mundial.

Los datos de investigación de TrendForce muestran que, debido al aumento explosivo de la demanda de HBM y DDR5 de servidor de alta especificación por parte de los centros de datos de IA, los tres gigantes del almacenamiento —Samsung, SK Hynix y Micron— están volcando todos sus esfuerzos en inclinar su limitada capacidad de obleas avanzadas hacia el sector empresarial.

Esto está presionando directamente el espacio de suministro留给 la DRAM para PC de consumo, y los precios contractuales siguen registrando aumentos intermensuales incluso en la temporada baja tradicional.

A finales del año pasado, Micron anunció formalmente su salida gradual del negocio de memoria de consumo Crucial, volcando sus recursos de la cadena de suministro hacia clientes estratégicos de mayor escala y rentabilidad; y el reciente cese de operaciones de las tiendas autorizadas de terceros de SK Hynix en el país también refleja el desdén de los fabricantes originales por los canales de consumo.

Imagen | Micron

Cuando un ensamblador común duda ante el precio, alza la cabeza y descubre que, imperceptiblemente, el presupuesto para añadir una barra de memoria está compitiendo con los centros de datos de IA de todo el mundo por el mismo lote de obleas avanzadas.

Para evitar que el poder de cómputo se atasque en el traslado de datos, …[原文过长，翻译已截断]