Los Intel Xeon Sapphire Rapids son 10 veces más rápidos en IA con AMX

En el sector de los procesadores para servidores y centros de datos, Intel ha estado dominando durante años con sus Xeon. Sin embargo, cuando AMD empezó con sus CPU EPYC, la compañía azul no solo se vio en dificultades, sino que su rival acabó superándola. Aun así, Intel tiene un as bajo la manga y estos serían sus aceleradores y en concreto AMX consigue aumentar 10 veces el rendimiento en IA de los Xeon Sapphire Rapids.

A día de hoy AMD es muy distinta a como la conocíamos, pues ha pasado de ser machacada por Intel tanto en procesadores de PC de consumo como de servidor a todo lo contrario. Ya no estamos en la época donde AMD tenía sus CPU FX de 8 cores que rendían mucho menos que los Intel Core. También no debemos olvidar como los AMD Opteron eran machacados por los Xeon aun teniendo más núcleos. Pero como ya dijimos, todo esto cambio con Ryzen y su enorme aumento de IPC, junto a un bajo precio que los hizo rivalizar con lo mejor de Intel.

Los Xeon Sapphire Rapids con AMX son 10x más rápidos en Stable Diffusion

AMD se adelantó lanzando sus EPYC Genoa, donde pudimos ver la CPU más rápida con 96 núcleos, el EPYC 9654. Intel anunció un retraso de sus Xeon Sapphire Rapids que en teoría iban a competir contra los EPYC de AMD, pero claro, no se esperaban esto. Con los Xeon ya lanzados, estos alcanzaban hasta los 56/60 núcleos y en rendimiento bruto quedaban por detrás de AMD. No obstante, tal y como dijimos hace unos meses, Intel lanzaría estos Xeon con retraso, ya que traerían aceleradores para mejorar la velocidad en diversas tareas.

Aquí es donde vimos Intel DLB, DSA, IAA, QAT y AMX. De todo estos, nos centraremos en AMX (Advanced Matrix Extension), pues es precisamente el que aprovechan los Intel Xeon Sapphire para acelerar las cargas de trabajo por IA. Según Intel, los Xeon Sapphire Rapids con AMX consiguen un rendimiento 10 veces superior en Stable Difussion.

Los Xeon pasan de 45 segundos a 4,7 segundos con AMX y optimizaciones

Ahora vamos a lo que más nos interesa, que son las cifras de rendimiento, donde Intel ha mostrado en todo momento las diferencias. En primer lugar tenemos que los Intel Xeon de tercera generación (Ice Lake) tardan 45 segundos en acabar el test de inferencia de Stable Diffusion. En cambio, al actualizar a la cuarta generación actual de Sapphire Rapids, se ha reducido a 32,3 segundos, un 28% menos. Tras esto, se ha empleado Optimum Intel y OpenVINO, haciendo que los Intel Xeon bajen a 16,7 segundos.

Ahora es el turno de la optimización del código, donde se pasa de una forma dinámica a una fija, haciendo mucho más eficiente la inferencia y reduciendo el tiempo en 4,7 segundos. Esto implica que efectivamente los Intel Xeon Sapphire Rapids con AMX son capaces de aumentar el rendimiento 10 veces en IA como Stable Diffusion. Además, la compañía indica que si no puedes usar OpenVINO, se pueden optimizar los resultados de otra forma. Así pues, indican que se puede utilizar el formato bloat16 para aprovechar el acelerador AMX, reduciendo el tiempo de 11,8 segundos hasta 5,05 segundos.