IA y su relación con el hardware - GPU / TPU / NPU - Memorias especializadas - Eficiencia energética

 






El hardware de IA se refiere a componentes físicos especializados (como GPUs, TPUs, NPUs) y sistemas diseñados para manejar las intensas demandas de entrenamiento y ejecución de modelos de Inteligencia Artificial, permitiendo procesamiento de grandes datos, aprendizaje profundo y tareas complejas de forma rápida y eficiente, a menudo optimizando para eficiencia energética y rendimiento, a diferencia del hardware de propósito general. 
La evolución de la inteligencia artificial está relacionada con Nvidia y sus GPUs (unidad de procesamiento gráfico (del inglés graphics processing unit, GPU)).

Hay otros actores que conforman un mapa de infraestructura de IA.
En estos momentos se está desarrollando un ecosistema de procesadores complementando a Nvidia o son potencial competencia.
 
El ecosistema depende de dos componentes: la memoria avanzada y la interconexión de alta velocidad. 
 
La memoria debe complementarse con el procesador para no convertirse en un cuello de botella. Se utilizan memorias HBM (High Bandwidth Memory o memoria de alto ancho de banda), que están físicamente integradas con la GPU.

SK Hynix es un proveedor de estas memorias. Samsung también lo es. 

Entre ambas concentran dos tercios de los ingresos globales por memorias.

Para que las GPU se comuniquen entre sí, se usan chips. Broadcom es uno de los proveedores. 

Buscan participar proveedores clásicos en el rubro de procesadores (como AMD e Intel). Google, Amazon y Meta están desarrollando sus propios procesadores: Google tiene sus TPU (Tensor Processing Unit), AWS cuenta con Trainium (entrenamiento) e Inferentia (inferencia), y Meta su MTIA (Meta Training and Inference Accelerator).

Estos chips están optimizados para nubes. Existen versiones que indican que Meta está en conversaciones con Google para adquirir chips TPU (
Unidad de Procesamiento Tensorial) y utilizarlos en  sus centros de cómputos a partir de 2027.
 
La gran mayoría de los chips se fabrican en una empresa, TSMC. Este es un "cuello de botella". 

Comments

Popular posts from this blog

IBM goes big to keep quantum computers cold

IBM - avances en mantener adecuadamente fríos computadores cuánticos.

Estructura multinivel de los sistemas de agentes de IA