HBM y KV cache

Un modelo puede fallar antes de generar el primer token y hacerlo sin que haya un bug en el codigo. Simplemente no cabe. Para quienes vienen de servidores convencionales, la sorpresa es comprensible: estamos acostumbrados a tratar la RAM como una reserva amplia y relativamente flexible. En un acelerador, la memoria esta mucho más cerca del cálculo y también es mucho más escasa y costosa. Esa cercania es la que permite alimentar a la GPU con rapidez; esa escasez es la que obliga a entender que vive realmente dentro.

Los pesos son el ocupante más evidente. Un modelo con muchos parametros necesita almacenar sus valores, y la precisión elegida cambia mucho ese espacio. Pero los pesos no estan solos. Durante entrenamiento aparecen activaciones y estados necesarios para actualizar el modelo. Durante inferencia, especialmente en modelos de lenguaje, crece la KV cache: el rastro útil del contexto ya procesado que permite continuar la respuesta sin volver a calcular cada palabra anterior. Una conversacion más larga o más usuarios simultaneos pueden consumir la holgura que parecía sobrar en una prueba individual.

HBM existe porque no basta con tener memoria; el cálculo necesita recibirla a enorme velocidad. Situada junto al acelerador mediante apilamiento y enlaces anchos, la memoria de alto ancho de banda reduce la distancia que los datos recorren y aumenta la cantidad que puede entregarse por segundo. Por eso H100, H200, Blackwell o MI350 se presentan junto a capacidades y anchos de banda de memoria. No es un apéndice comercial: es parte directa de lo que el modelo podra hacer sin esperar.

En producción, esta lectura cambia el modo de probar. Ya no basta con cargar el modelo y celebrar que responde. Hay que medirlo con la longitud de contexto prevista, la concurrencia realista y el runtime que gestionara batching y cache. Hay que comprobar que sucede al acercarse al limite y que sacrificio se esta dispuesto a aceptar: menos contexto, menor precisión, más GPUs o un modelo distinto. Un sistema estable nace de conocer esos limites antes de que un pico de uso los descubra por ti.

VRAM, HBM y KV cache parecen conceptos de bajo nivel, pero terminan decidiendo la experiencia que recibe una persona al otro lado de la API. La memoria es donde una promesa de IA se convierte en capacidad concreta. NVIDIA explica el papel de HBM3e en cargas generativas en la documentacion de H200, y los runtimes de inferencia muestran despues la segunda mitad de la historia: como repartir ese espacio sin mentirse con una demo vacia.