Microsoft Azure recurre a las NVIDIA H100 para acelerar la IA y ChatGPT

Microsoft ha anunciado que Microsoft Azure, su plataforma de computación en la nube, ha recurrido a NVIDIA para dar vida a unos nuevos servidores destinados a acelerar a la Inteligencia Artificial (IA). En concreto, Microsoft ha recurrido a sus GPU tope de gama, las NVIDIA H100.

Hay que mencionar que cada NVIDIA H100 esconde en su interior 18.432 CUDA Cores, todo ello gracias a los 4nm de TSMC y al uso de 80.000 millones de transistores. Estos núcleos se acompañan de nada menos que hasta 80 GB de memoria HBM3, la cual es capaz de alcanzar un ancho de banda de 3 TB/s. En concreto, un 50% más respecto a su predecesora, la NVIDIA A100.

Todos estos números dan como resultado un rendimiento de 60 TFLOPs FP64/FP32, 1.000 TFLOPs TF32, y 2.000 TFLOPs FP16. Resumido de manera más sencilla. Multiplica por tres el rendimiento de la NVIDIA A100. Toda esta potencia va ligada a un elevado coste energético, ya que hablamos de un TDP de 700W. El consumo energético crece un 75% a cambio de ofrecer una mejora de rendimiento de hasta un 600%. A lo que hay que sumar el aumento del ancho de banda en un 50%.

Microsoft Azure adquiere miles de GPU NVIDIA H100 para acelerar la ChatGPT y la IA en general

En esencia, la inversión de esta compañía era lógica si quería mantenerse a la vanguarda en IA. Hay que recordar que Microsoft ha invertido cientos de millones de dólares en OpenAI, la compañía detrás de ChatGPT. Si a esto le sumamos que su navegador web Edge integra ChatGPT, y que quiere emplear la IA en todas las facetas posibles, incluso en Windows, es lógico que la compañía siga realizando inversiones adicionales para ser una de las pioneras en IA.

"Cumplir la promesa de la IA avanzada para nuestros clientes requiere una infraestructura de supercomputación, servicios y experiencia para hacer frente al aumento exponencial del tamaño y la complejidad de los modelos más recientes", dijo la compañía en un comunicado oficial.

"El codiseño de superordenadores con Azure ha sido crucial para escalar nuestras exigentes necesidades de formación en IA, haciendo posible nuestro trabajo de investigación y alineación en sistemas como ChatGPT", dijo Greg Brockman, Presidente y Cofundador de OpenAI.

En concreto, Microsoft Azure anunció sus máquinas virtuales ND H100 v5 VM. Estas máquinas permiten "trabajar bajo demanda en tamaños que van de ocho a miles de GPU NVIDIA H100 interconectadas mediante la red InfiniBand NVIDIA Quantum-2".

Estas GPU se acompañan de procesadores Intel Xeon Scalable de 4ª Gen, memoria RAM DDR5 a 4.800 MHz en configuración de 16 canales. Seguimos con interfaz PCIe 5.0 para un ancho de banda de 64 GB/s por GPU. Terminamos con la tecnología NVSwitch y NVLink 4.0 para un ancho de banda biseccional entre 8 GPU locales dentro de cada VM de hasta 3,6 TB/s.

"NVIDIA y Microsoft Azure han colaborado a través de múltiples generaciones de productos para llevar las innovaciones líderes en IA a empresas de todo el mundo. Las máquinas virtuales NDv5 H100 ayudarán a impulsar una nueva era de aplicaciones y servicios de IA generativa", dijo Ian Buck, vicepresidente de hiperescala y computación de alto rendimiento en NVIDIA.