Skip to content

Desde lasTripas

Tutoriales
Historias
Atlas IA
Comparativas
Libros
¿Hablamos?

Desde lasTripas

Tutoriales
Historias
Atlas IA
Comparativas
Libros
¿Hablamos?

Inicio / Atlas de hardware para IA

Atlas de hardware para IA

Aceleradores, memoria, sistemas, red y datos para entender la infraestructura que sostiene modelos de IA

Aceleradores Memoria Sistemas Interconexion Datos Software

Aceleradores

01 NVIDIA H100 80 GB HBM3 / Hopper La H100 puso la arquitectura Hopper en el centro de los clusters de IA. La pieza importante no es solo la potencia: tambien importan HBM, Tensor Cores y la conexion con otras GPUs. Leer post

02 NVIDIA H200 141 GB HBM3e / Memoria La H200 aumenta la memoria HBM y su ancho de banda frente a H100. Esto cambia cuantos pesos y cuanto KV cache pueden mantenerse cerca de la GPU al servir un modelo. Leer post

03 Blackwell B200 y GB200 / Generacion Blackwell apunta a sistemas con modelos mas grandes y mas comunicacion entre aceleradores. Es el punto de entrada para estudiar B200, GB200 y el salto de arquitectura. Leer post

04 AMD Instinct MI350 GPU alternativa / ROCm La infraestructura de IA no termina en NVIDIA. AMD Instinct introduce otra familia de aceleradores y obliga a estudiar memoria, software ROCm e interoperabilidad del stack. Leer post

05 Google TPU 8t y 8i Entrenamiento / Inferencia Google separa su octava generacion TPU en dos rutas: TPU 8t para entrenamiento masivo y TPU 8i para inferencia de baja latencia. No es una GPU con otro nombre, sino una infraestructura propia. Leer post

06 AWS Trainium2 Chip propio / Neuron AWS construye su propia ruta para entrenar y servir modelos: Trainium2, NeuronLink y EFA hacen que el hardware y la nube se estudien como una sola plataforma. Leer post

07 Intel Gaudi 3 Ethernet / Alternativa abierta Gaudi 3 pone en primer plano una pregunta distinta: si un cluster de IA puede crecer apoyandose en Ethernet estandar y no en una interconexion cerrada. Leer post

Memoria

01 VRAM y HBM Pesos, cache y ancho de banda Pesos, activaciones y KV cache compiten por la memoria de la GPU. Entender HBM ayuda a leer por que dos GPUs con computo parecido responden distinto ante un LLM. Leer post

Sistemas y servidores

01 NVIDIA HGX Hasta 8 GPU por nodo Un servidor de IA une GPUs, NVSwitch, CPU, almacenamiento y red. HGX permite estudiar el servidor como sistema, no como una lista de tarjetas. Leer post

Interconexion y red

01 NVLink e InfiniBand GPU a GPU / Nodo a nodo Una GPU rapida aislada no basta para entrenamiento distribuido. NVLink y NVSwitch resuelven comunicacion dentro del nodo; InfiniBand y RDMA importan entre nodos. Leer post

Datos

01 Storage y checkpoints NVMe / Objetos / Flujo de datos Un acelerador hambriento no sirve si pesos, datasets o checkpoints llegan tarde. El almacenamiento es parte de la velocidad y de la recuperacion de un entrenamiento. Leer post

Desde las Tripas: Linux, redes, Kubernetes e infraestructura para IA con contexto y criterio tecnico

Tutoriales
Historias
Atlas IA
Comparativas
Libros
¿Hablamos?