Intel Gaudi 3: el acelerador de IA tope de gama de la compañía que promete desbancar a NVIDIA

Durante la conferencia Intel Vision 2024, la compañía anunció su nuevo acelerador de IA generativa tope de gama: Intel Gaudi 3. Respecto a su predecesor, el Intel Gaudi 2, la compañía ha conseguido aumentar por 4 la capacidad de cálculo de inteligencia artificial (IA) para BF16. Se ha conseguido aumentar en 1,5 veces el ancho de banda de memoria, y en 2 veces el ancho de banda de red para un escalado masivo del sistema. Y, esto se traduce un gran avance y una fuerte declaración de Intenciones de Intel para la industria hambrienta de hardware para entrenar sus IA.

Esto que supone un salto significativo en el rendimiento y la productividad para la formación y la inferencia de IA en los populares modelos de grandes lenguajes (LLM) y modelos multimodales. Basándose en el rendimiento y la eficiencia demostrados del acelerador Intel Gaudi 2 AI -la única alternativa MLPerf para LLM del mercado- Intel ofrece a los clientes la posibilidad de elegir entre un software abierto basado en la comunidad y una red Ethernet estándar del sector para escalar sus sistemas de forma más flexible.

Intel Gaudi 3 también saca pecho ante su principal rival: las GPU NVIDIA H100

Intel Gaudi 3

Como ejemplo, Elon Musk indicó que la segunda versión de su chatbot, Grok 2, se estaba entrenando con 10.000 GPU NVIDIA H100. Grok 3 requerirá 100.000 de estas GPU. Pues bien, las Intel Gaudi 3 son hasta un 50% más rápidas consumiendo menos energía. Para ser exactos, según las pruebas de laboratorio realizadas por Intel. En Llama 2 7B con 13.000 millones de parámetros. Y en el modelo GPT-3 con 175.000 millones de parámetros, cada Intel Gaudi 3 es un 50% más rápida en tiempo de entrenamiento.

Con Llama 7B con 70.000 millones parámetros, y Falcon con 180.000 millones, el rendimiento de inferencia es un 50% más rápido mientras que la eficiencia energética de inferencia es un 40% mayor. En el peor de los casos, con Llama 7B con 70.000 millones de parámetros, y el modelo Falcon con 180.000 millones de parámetros, la Intel Gaudi 3 es un 30% más rápida en inferencia que la NVIDIA H200. En el mejor de los casos, Gaudi 3 es hasta 2,3 veces más eficiente.

La aceleradora de IA Intel Gaudi 3 alardea de ofrecer 128 GB de memoria HBM2E (3,7 TB/s de ancho de banda) con un TDP de 600W en su versión PCI-Express 5.0 x16. Con la misma interfaz, pero en forma de "Mezzanine Card" (PMC) su TDP se dispara hasta los 900W. Será durante este mismo trimestre cuando Intel lance a Gaudi 3 a un mercado hambriento por hardware relacionado con la IA.

Resto de información ofrecida por Intel en su nota de prensa

Intel Gaudi 3

"En el panorama en constante evolución del mercado de la IA, persiste una brecha significativa en la oferta actual. Las empresas sopesan consideraciones como la disponibilidad, la escalabilidad, el rendimiento, el coste y la eficiencia energética. Intel Gaudi 3 se destaca como la alternativa GenAI que presenta una combinación convincente de desempeño de precio, escalabilidad del sistema y ventaja de tiempo para generar valor". Dijo Justin Hotard, vicepresidente ejecutivo y director general del grupo de centros de datos e IA de Intel.

El acelerador Intel Gaudi 3, diseñado para la computación eficiente de IA a gran escala, se fabrica a un proceso de 5 nanómetros (nm) y ofrece avances significativos con respecto a su predecesor. Está diseñado para permitir la activación de todos los motores en paralelo -con el motor de multiplicación de matrices (MME), los núcleos de procesamiento tensorial (TPC) y las tarjetas de interfaz de red (NIC), lo que permite la aceleración necesaria para una computación de aprendizaje profundo rápida, eficiente y a escala.