Infraestructura para IA

Comenzar

Introduccion Las piezas basicas que sostienen un modelo Una puerta de entrada para situar memoria, aceleradores, servidores, red y almacenamiento antes de estudiar cada componente. Leer post

Memoria

HBM y KV cache Memoria del modelo y del contexto Los pesos y las conversaciones compiten por el espacio rapido del acelerador. La memoria condiciona la inferencia antes de que falte calculo. Leer post

Aceleradores

NVIDIA H100 Hopper / 80 GB HBM3 La H100 llevo la arquitectura Hopper al centro de muchos clusters de IA y permite entender computo, memoria y conexion entre GPUs. Leer post

NVIDIA H200 141 GB HBM3e / Inferencia La H200 pone la memoria en primer plano: cuanto modelo y cuanto contexto pueden permanecer cerca del calculo. Leer post

NVIDIA Blackwell B200 y GB200 Blackwell sirve para estudiar el salto desde una GPU a sistemas que agrupan mas memoria y mas comunicacion. Leer post

AMD Instinct MI350 HBM3E / ROCm La infraestructura de IA tambien se construye fuera de NVIDIA. AMD obliga a mirar memoria y software como una sola plataforma. Leer post

Google TPU Acelerador propio de Google Una arquitectura distinta para entrenamiento e inferencia que ayuda a separar el concepto de acelerador del de GPU. Leer post

AWS Trainium Silicio propio / Neuron AWS une su chip, su red y su software en una ruta propia para entrenar y servir modelos. Leer post

Intel Gaudi Ethernet / Alternativa Gaudi permite estudiar una plataforma de aceleracion que pone Ethernet en el centro del escalado. Leer post

Sistemas

NVIDIA HGX Varias GPU en un nodo Un nodo de IA no es una tarjeta suelta: une GPU, memoria, switches, CPU, discos y red. Leer post

Red

NVLink e InfiniBand GPU a GPU / Nodo a nodo Cuando el modelo se distribuye, comunicar aceleradores y nodos deja de ser un detalle y pasa a formar parte del rendimiento. Leer post

Almacenamiento

Storage y checkpoints Modelos, datasets y recuperacion Pesos, datos y checkpoints tienen que llegar y guardarse a tiempo para que el calculo no espere. Leer post