NVIDIA H100 NVL: la GPU dual con 188 GB de memoria para IA y ChatGPT

Las tarjetas gráficas pueden ser empleadas para acelerar las cargas de cientos de programas. Ya no solo hablamos de su uso para gaming (que es el más obvio), pues hay GPU más capaces que una RTX 4090 y precisamente no son para jugar. Aquí tendríamos a la NVIDIA H100 NVL, una Dual GPU donde con nada menos que 94 GB de memoria HBM3 por gráfica (188 GB en total) diseñada para ser utilizada exclusivamente para IA y ChatGPT.

La IA cada vez está más presente en nuestras vidas, ayudándonos en nuestros quehaceres y resolver todas nuestras dudas. Sin duda, la que más ha dado de hablar estos últimos meses es ChatGPT y no es para menos. Pues esta ha revolucionado la forma en la que buscamos información, con una implementación en el buscador Bing que resultó todo un éxito. De esta forma, Microsoft ha estado aprovechando la fama de esta IA para adaptarla a sus programas. Al final, empleando el modelo GPT-4, Microsoft anunció Copilot, un asistente IA que es capaz de hacer nuestro trabajo por nosotros.

NVIDIA lanza su H100 NVL, una dual GPU con 188 GB para ChatGPT

El tema de las IA está avanzando a pasos agigantados y ya no son pocos los que se empiezan a plantear que será del futuro. Aquí aparecen preguntas y dudas de si podremos mantener nuestros trabajos, si seremos o no sustituidos por las IA o si realmente llegará un punto donde serán capaces de actuar por su cuenta. Dejando atrás estas posibilidades de un futuro, nos centramos en el presente, ya que NVIDIA ha anunciado una nueva GPU dedicada para trabajar en IA.

Estaríamos así ante la NVIDIA H100 NVL, la primera tarjeta gráfica para ser usada exclusivamente en ChatGPT. Con 94 GB de memoria HBM3 estaríamos ante la GPU más bestia de la compañía en cuanto a memoria, superando a la NVIDIA H100 de 80 GB. Esta es su principal ventaja respecto al otro modelo, donde si combinamos el aumento de memoria y la configuración dual GPU, estamos ante una auténtica barbaridad con 188 GB.

Duplica en rendimiento a la H100 SXM con mayor ancho de banda

Ahora bien respecto a sus especificaciones, algo que hay que destacar y muy importante es que la NVIDIA H100 NVL es una GPU dual. Por tanto, tenemos realmente dos tarjetas gráficas PCIe de 94 GB conectadas a través de 3 puentes NVLink Gen4. Tendríamos un consumo de entre 350W a 400W por GPU, lo que nos daría en total 700 a 800W. Puede parecer mucho, pero hay que tener en cuenta que la H100 SXM ya consumía 700W.

En cuanto a rendimiento, la H100 NVL prácticamente duplica a la H100 SXM original. Tenemos así un rendimiento FP64 de 68 TFLOPs, 132 TFLOPs en FP32, 3.958 TFLOPs en FP16 y 7.916 TFLOPs en FP8. La principal ventaja está en los 188 GB de VRAM y también en el ancho de banda de 7,8 TB/s, el cual es más del doble que la H100 SXM. Esta NVIDIA H100 NVL solo ocupará dos ranuras y se podrán instalar hasta 4 pares de tarjetas en un sistema. Su precio no se ha revelado, pero teniendo en cuenta que una H100 PCIe menos potente cuesta unos 28.000 dólares, ya nos hacemos una idea.