Un rendimiento rentable para cargas de inferencia de IA generativa y el mayor rendimiento para cargas de gráficos.
- Get link
- X
- Other Apps
Hoy Amazon la disponibilidad general de las instancias G7e de Amazon Elastic Compute Cloud (Amazon EC2), que ofrecen un rendimiento rentable para cargas de inferencia de IA generativa y el mayor rendimiento para cargas de gráficos.
Las instancias G7e están aceleradas por las GPU NVIDIA RTX PRO 6000 Blackwell Server Edition y son adecuadas para una amplia variedad de cargas con GPU, incluidas computación espacial y computación científica. Las instancias G7e brindan hasta 2,3 veces más rendimiento de inferencia en comparación con las instancias G6e.
Mejoras respecto de los predecesores
GPU NVIDIA RTX PRO 6000 Blackwell
Las GPU NVIDIA RTX PRO 6000 Blackwell Server Edition ofrecen el doble de memoria de GPU y 1,85 veces el ancho de banda de memoria de GPU en comparación con las instancias G6e. Gracias a la mayor memoria de GPU que ofrecen las G7e, podés ejecutar modelos medianos de hasta 70B parámetros con precisión FP8 en una sola GPU.
NVIDIA GPUDirect P2P
Para modelos demasiado grandes como para entrar en la memoria de una sola GPU, podés dividir el modelo o los cómputos entre varias GPU. Las instancias G7e reducen la latencia de cargas multi-GPU al admitir NVIDIA GPUDirect P2P, que permite comunicación directa entre GPU a través de la interconexión PCIe. Estas instancias ofrecen la menor latencia peer-to-peer para GPU en el mismo switch PCIe. Además, las G7e brindan hasta 4 veces el ancho de banda entre GPU en comparación con las GPU L40s presentes en las G6e, mejorando el rendimiento de cargas multi-GPU. Estas mejoras implican que podés ejecutar inferencia para modelos más grandes en múltiples GPU, ofreciendo hasta 768 GB de memoria de GPU en un solo nodo.
Red
Las instancias G7e ofrecen 4 veces más ancho de banda de red que las G6e, lo que permite usarlas para cargas multi-nodo de pequeña escala. Además, las G7e multi-GPU admiten NVIDIA GPUDirect RDMA con Elastic Fabric Adapter (EFA), reduciendo la latencia de la comunicación remota GPU a GPU para cargas multi-nodo. Estos tamaños de instancia también soportan NVIDIA GPUDirectStorage con Amazon FSx for Lustre, incrementando el throughput hacia las instancias hasta 1,2 Tbps en comparación con las G6e, lo que permite cargar modelos rápidamente.
Especificaciones de EC2 G7e
Las instancias G7e incluyen hasta 8 GPU NVIDIA RTX PRO 6000 Blackwell Server Edition con hasta 768 GB de memoria total de GPU (96 GB por GPU) y procesadores Intel Emerald Rapids. También soportan hasta 192 vCPU, hasta 1.600 Gbps de ancho de banda de red, hasta 2.048 GiB de memoria del sistema y hasta 15,2 TB de almacenamiento local NVMe SSD.
Especificaciones (tabla)
Nombre de instancia | GPU | Memoria GPU (GB) | vCPU | Memoria (GiB) | Almacenamiento (TB) | Ancho de banda EBS (Gbps) | Ancho de banda de red (Gbps)
-
g7e.2xlarge | 1 | 96 | 8 | 64 | 1,9 × 1 | Hasta 5 | 50
-
g7e.4xlarge | 1 | 96 | 16 | 128 | 1,9 × 1 | 8 | 50
-
g7e.8xlarge | 1 | 96 | 32 | 256 | 1,9 × 1 | 16 | 100
-
g7e.12xlarge | 2 | 192 | 48 | 512 | 3,8 × 1 | 25 | 400
-
g7e.24xlarge | 4 | 384 | 96 | 1024 | 3,8 × 2 | 50 | 800
-
g7e.48xlarge | 8 | 768 | 192 | 2048 | 3,8 × 4 | 100 | 1600
Cómo empezar con instancias G7e
Para comenzar, puede usar las AWS Deep Learning AMIs (DLAMI) para sus cargas de machine learning (ML). Para ejecutar instancias, puede usar la AWS Management Console, la AWS Command Line Interface (AWS CLI) o los AWS SDKs. Para una experiencia administrada, piede usar instancias G7e con Amazon Elastic Container Service (Amazon ECS) y Amazon Elastic Kubernetes Service (Amazon EKS). El soporte para Amazon SageMaker AI también llegará pronto.
Disponibilidad
Las instancias Amazon EC2 G7e están disponibles desde hoy en las regiones US East (N. Virginia) y US East (Ohio). Para disponibilidad por región y hoja de ruta futura, buscá el tipo de instancia en la pestaña de recursos de CloudFormation dentro de AWS Capabilities by Region.
Las instancias se pueden comprar como On-Demand Instances, Savings Plan y Spot Instances. Las G7e también están disponibles como Dedicated Instances y Dedicated Hosts. Para más información, consultá la página de precios de Amazon EC2.
Probar las instancias G7e en la consola de Amazon EC2. Para saber más, visite la página de instancias Amazon EC2 G7e y envíe comentarios a AWS re:Post para EC2 o a través de sus contactos habituales de AWS Support.
- Get link
- X
- Other Apps
.png)
Comments
Post a Comment