Storage y checkpoints: el dato tambien entrena el modelo
Datasets, pesos y checkpoints convierten al almacenamiento en una capa critica de cualquier datacenter de IA.
Leer postCategoria
Atlas de hardware para IA
Aceleradores, memoria, sistemas, redes y datos: una coleccion para abrir la infraestructura que entrena o sirve un modelo de IA
Intel Gaudi 3: aceleracion de IA sobre redes Ethernet
Gaudi 3 ayuda a estudiar el papel de Ethernet y de las alternativas de aceleracion en clusters de IA.
Leer postAWS Trainium2: infraestructura de IA disenada por la nube
Trainium2 une chip, red y software de AWS en una plataforma propia para entrenar y servir modelos.
Leer postGoogle TPU 8t y 8i: cuando el acelerador no es una GPU
Google TPU 8t y 8i muestran una infraestructura propia: una ruta para entrenamiento y otra para inferencia, mas alla de la GPU tradicional.
Leer postAMD Instinct MI350: la alternativa GPU en la plataforma de IA
AMD Instinct abre otra ruta para aceleracion de IA: memoria, ROCm y una plataforma que no depende de CUDA.
Leer postNVLink, InfiniBand y RDMA: la red que mueve la IA
Una GPU rapida aislada no entrena sistemas grandes: NVLink une aceleradores e InfiniBand y RDMA conectan nodos con menos espera.
Leer postNVIDIA HGX: que hay dentro de un servidor para IA
Un servidor HGX permite ver la GPU dentro de su habitat real: aceleradoras, switches, CPU, red, energia y refrigeracion.
Leer postVRAM, HBM y KV cache: donde cabe un modelo de IA
Antes de hablar de velocidad conviene preguntar si el modelo cabe: pesos, activaciones y KV cache compiten por la memoria de GPU.
Leer postBlackwell B200 y GB200: el salto de GPU a sistema
Blackwell obliga a pensar mas alla de una GPU: B200, GB200, interconexion, potencia y racks completos para IA.
Leer postNVIDIA H200: cuando la memoria decide el tamano del modelo
La H200 pone el foco donde muchos despliegues de LLM se rompen: memoria disponible, ancho de banda y cache durante la inferencia.
Leer post