Intel Gaudi2 supera a la GPU NVIDIA H100 en IA siendo un 56% más rápida

Cuando se trata de comprar hardware para poder entrenar modelos de IA, NVIDIA es la principal elección por su potencia. Gráficas como las A100 y las H100 ya están en problemas de producción debido a que hay más demanda que oferta y las empresas tardan meses en esperar las nuevas. Mientras todo esto ocurre, ahora tenemos benchmarks por Stability AI que nos muestran como Intel Gaudi2 es más rápido que las NVIDIA H100 en Stable Diffusion.

La IA generativa ha existido desde hace unos años aunque realmente no ha sido hasta ahora cuando todo ha explotado en términos de interés e inversiones millonarias. Antes de que OpenAI entrase en escena con ChatGPT, teníamos tanto Midjourney como Stable Diffusion. Estas eran las dos principales herramientas de IA generativa para crear imágenes que se usaban y a día de hoy podríamos decir que siguen siendo las más empleadas. Lo que en aquel entonces no se sabía es que iban a evolucionar hasta tal punto donde la IA empieza a ser complicada distinguirla de la realidad.

Intel Gaudi2 es un 56% más rápida que la NVIDIA H100 en IA con Stable Diffusion 3

Intel Gaudi2 rendimiento

Como imaginarás, para crear una buena imagen con la IA hay que saber escribir los prompts y hacer que saque lo que queremos con el mejor resultado posible a base de varios intentos. A diferencia de Midjourney que procesa todo a nivel de servidor y es de pago, con Stable Diffusion todo lo hacemos con nuestro propio hardware. Esta IA es compatible con gráficas NVIDIA principalmente, aunque también se pueden emplear GPU de AMD y hasta de Intel. De hecho, la propia compañía creadora de Stable Diffusion, Stability AI, ha hecho pruebas con la gráfica NVIDIA más deseada de la actualidad en este sector, la H100 de 80 GB y el acelerador de IA Intel Gaudi2 con 96 GB.

Aquí podemos ver como la prueba con 2 nodos y 16 aceleradores usando un tamaño de lote de 16 por acelerador (descartamos el valor de 32 para hacer la comparativa), Intel supera a su rival por bastante. Tenemos así un total de 927 imágenes por segundo creadas en Stable Diffusion 3, un 56% más que las 595 imágenes por segundo creadas por la NVIDIA H100.

Es mucho más rápida que la NVIDIA A100, pero si se usa TensorRT todo cambia

Intel-Gaudi2-specs

Si lo comparamos con la NVIDIA A100, las diferencias son aún mayores, pues con 381 imágenes por segundo en comparación, el acelerador de IA de Intel resulta ser 2,43 veces más rápido. Ahora que hemos visto como Intel domina en esa primera prueba, toca ver que tal lo hace cuando se escala a 32 nodos y 256 aceleradores, manteniendo el tamaño de lote a 16. Aquí vemos que Intel Gaudi2 logra nada menos que 12.654 imágenes por segundo, lo que se traduce en 49,4 imágenes por segundo por cada dispositivo.

Mientras tanto, el equipo compuesto por NVIDIA A100 genera solo 3.992 imágenes por segundo, por lo que hablamos de 15,6 imágenes por segundo por GPU. Intel Gaudi2 demuestra de nuevo su liderazgo, siendo más de 3 veces más rápido que la NVIDIA A100. Estos resultados difieren a los que se publicaron hace un tiempo donde Gaudi2 rendía menos que las H100, pero resultaba ser mucho más económica. En las pruebas actuales donde vemos que Intel supera a todo lo de NVIDIA, Stability AI indica que emplearon PyTorch, provocando una enorme desventaja para NVIDIA.

Si hubiesen usado TensorRT, las A100 deberían ser un 40% más rápidas. Mientras que Intel es capaz de generar una imagen de 1.024 x 1.024 píxeles con 30 pases en 3,2 segundos en PyTorch, la A100 lo logra en 2,7 segundos con TensorRT.