NVIDIA DGX Station H100 con 8x GPUs & Nvidia Eos, el superordenador más rápido del mundo en IA

El NVIDIA DGX Station H100 es el nuevo superordenador compacto de la compañía, el cual es capaz de dar cobijo a 8x GPUs Nvidia H100 para ofrecer 32 PFLOPs de rendimiento IA, junto a 640 GB de memoria HBM3 con un ancho de banda de 24 TB/s en un mismo sistema.

NVIDIA DGX H100

Este sistema se puede unir a otros para dar vida al Nvidia DGX POD H100, lo que suma un rendimiento de 1 Exaflop en IA con 20 TB de memoria HBM3. Por encima tenemos el DGX SuperPOD, que permite unir varios Nvidia DGX POD hasta sumar un máximo de 18x Nvidia DGX H100 PODs, hasta sumar 256 GPUs Nvidia H100.

En términos de rendimiento, hablamos de 18 EFLOPs FP8, 9 EFLOPs FP16, 275 PFLOPs FP64, 3.7 PFLOPs In-Network Compute, y un ancho de banda de 230 TB/s. El sistema de IA está diseñado con el nuevo switch Quantum-2 Infiniband, que cuenta con 57.000 millones de transistores, y con aceleradores de IA 32 veces superiores a los sistemas A100. Este sistema puede albergar hasta 256 GPUs Nvidia H100.

Nvidia Eos

Para terminar, tenemos el Nvidia Eos, que básicamente es la suma de los SuperPOD par generar un superordenador de clase mundial al sumar 576 sistemas Nvidia DGX H100 hasta sumar 4.608 GPUs H100.

Se prevé que NVIDIA Eos proporcione 18,4 exaflops de rendimiento de cálculo de IA, lo que supone un procesamiento de IA 4 veces más rápido que el superordenador Fugaku de Japón, que es actualmente el superordenador más rápido del mundo. En cuanto a la computación científica tradicional, se espera que Eos proporcione 275 petaflops de rendimiento.

Nvidia acaba de presentar la cuarta generación del sistema Nvidia DGX, la primera plataforma de IA del mundo construida con las nuevas GPU Tensor Core H100.

Los sistemas DGX H100 ofrecen la escala necesaria para satisfacer las necesidades de cálculo masivo de los grandes modelos lingüísticos, los sistemas de recomendación, la investigación sanitaria y la ciencia del clima. Con ocho GPUs Nvidia H100 por sistema, conectadas como una sola por Nvidia NVLink, cada DGX H100 proporciona 32 petaflops de rendimiento de IA con la nueva precisión FP8: 6 veces más que la generación anterior.

Los sistemas DGX H100 son los bloques de construcción de las plataformas de infraestructura de IA de próxima generación Nvidia DGX POD y Nvidia DGX SuperPOD. La última arquitectura DGX SuperPOD incluye un nuevo sistema de conmutación NVLink que puede conectar hasta 32 nodos con un total de 256 GPUs H100.

Al proporcionar 1 exaflops de rendimiento de IA FP8, 6 veces más que su predecesor, la nueva generación de DGX SuperPOD amplía las fronteras de la IA con la capacidad de ejecutar cargas de trabajo LLM masivas con billones de parámetros.

"La IA ha cambiado fundamentalmente lo que el software puede hacer y cómo se produce. Las empresas que están revolucionando sus sectores con la IA son conscientes de la importancia de su infraestructura de IA", afirma Jensen Huang, fundador y CEO de Nvidia. "Nuestros nuevos sistemas DGX H100 impulsarán las fábricas de IA de las empresas para perfeccionar los datos y convertirlos en nuestro recurso más valioso: la inteligencia."

Anuncio de Nvidia Eos: el superordenador de IA más rápido del mundo

NVIDIA será la primera en construir un DGX SuperPOD con la nueva e innovadora arquitectura de IA para potenciar el trabajo de los investigadores de Nvidia que avanzan en la ciencia del clima, la biología digital y el futuro de la IA.

Se espera que su superordenador "Eos" sea el sistema de IA más rápido del mundo cuando comience a funcionar a finales de este año, con un total de 576 sistemas DGX H100 con 4.608 GPUs DGX H100.

Se prevé que Nvidia Eos proporcione 18,4 exaflops de rendimiento de cálculo de IA, lo que supone un procesamiento de IA 4 veces más rápido que el superordenador Fugaku de Japón, que es actualmente el sistema más rápido del mundo. En cuanto a la computación científica tradicional, se espera que Eos proporcione 275 petaflops de rendimiento.

Eos servirá de modelo para la infraestructura de IA avanzada de NVIDIA, así como de sus socios OEM y de la nube

Artículos relacionados