Nubes negras en el paraíso: demuestran que Intel Gaudi2 ofrece mejor rendimiento/precio que el NVIDIA H100 en IA

Los avances en inteligencia artificial han provocado un cambio en nuestras vidas, pues implementando estas herramientas en nuestras vidas podemos aumentar la productividad y automatizar tareas. Para poder crear modelos de IA tan exitosos como GPT-4 en ChatGPT, se requiere entrenar a las IA con millones de datos. Para acelerar el proceso, las GPU NVIDIA se han utilizado por ser las más rápidas, pero según un estudio, Intel Gaudi2 es superior a las H100 de NVIDIA en IA en cuanto a rendimiento/precio.

Intel es conocida principalmente por sus procesadores para PC, portátiles y servidores, pero también se dedica a otros sectores. Hace algo más de un año, decidió lanzar una gama de GPU dedicadas de la arquitectura Alchemist. Aunque estas tenían una buena proporción entre rendimiento/precio/memoria, nunca llegaron a destacar demasiado. Intel apenas podía competir en la gama media de GPU con lo mejor que podía ofrecer. Por otro lado, también ha lanzado otros dispositivos, como los aceleradores de IA Intel Gaudi.

Intel Gaudi2 iguala la latencia de las NVIDIA H100 en decodificación

Intel-Gaudi2-Stability-AI-Superordenador

Habana Labs, la división de centros de datos de Intel Vision, anunció Gaudi3 hace apenas unas semanas, su último y más avanzado acelerador de IA. Creado a 5 nm, Intel aseguraba que era más rápido que la GPU H100 de NVIDIA, la cual era una de las más populares para entrenar modelos de IA. Adicionalmente, también superaba a la MI300X de AMD, la GPU más potente para inteligencia artificial de la compañía. Con Gaudi3, Intel prometía una mejora de rendimiento 1,5 veces superior a Gaudi2 y la misma proporción en ancho de banda y memoria.

Al parecer no hace falta irse a Gaudi3 para poder competir contra NVIDIA, pues según un estudio reciente realizado por Databricks, han descubierto que Intel Gaudi2 compite contra lo mejor de NVIDIA. La investigación ha determinado que el acelerador de Intel logra igualar la latencia de las H100 en decodificación e incluso superan a las A100.

Consigue un mejor rendimiento/precio que las H100 y A100

Rendimiento Precio Gaudi 2

Para demostrar el potencial del acelerador IA de Intel, Databricks realizó una prueba usando MosaicML LLM. En esta observó como Gaudi2 logra ser la segunda más rápida justo después de la NVIDIA H100, con más de 260 TFLOPs por cada chip. Según el arquitecto principal de NLP en Databricks, el rendimiento de Gaudi2 ha sido toda una sorpresa. Aunque se trate de un estudio independiente, los resultados obtenidos se acercan a los de Intel.

Cuando Intel anunció Gaudi2 y mostró las pruebas de rendimiento, este acelerador de IA se quedaba muy cerca de la NVIDIA H100 en FP8. De hecho, según Intel, la GPU de NVIDIA tenía una mejora del 9% en GPT-J Server, haciendo una comparativa con 8 aceleradores. Donde si lograba sacar una victoria era contra la A100, ya que la superaba en hasta 2,4 veces su rendimiento.

Con los nuevos resultados de Databricks, Gaudi2 ofrece una mejor proporción rendimiento/precio, superando tanto a la NVIDIA A100 como a la más potente H100. Tal y como podemos ver, el rendimiento por dólar equivale a 0,6646 ExaFLOPs/$, mucho más que los 0,1280 ExaFLOPs/$ de la H100. Además, para 2024 las cosas solo van a mejorar para Intel, pues Gaudi3 está preparado para hacer frente a las nuevas GPU NVIDIA como la H200.