AMD saca los colores a Intel mostrando datos de rendimiento de su NPU: mucho más rápida en IA con casi la mitad de consumo
El año pasado fue el despegue vertiginoso de la IA, y a diferencia de otros momentos de la historia, el hardware no estuvo a la altura en su comienzo pese a que los algoritmos son entrenados con GPU o aceleradores. Como el software está yendo por delante del hardware en la mayoría de los casos, al llegar a PC esto fue justo al revés, y AMD fue pionera aquí. Por ello, y ya pasados bastantes meses donde en nuestro sector está llegando la IA por doquier incluso a Windows de serie con CoPilot, es hora de poner datos en perspectiva. AMD ha revelado la comparativa que todos estaban esperando, probando su NPU en IA frente a la de Intel con Meteor Lake, y los resultados son sorprendente como poco.
El AMD Ryzen 7 7840U fue la primera CPU de la historia para PC en integrar una NPU en su haber bajo los núcleos Phoenix en Strix Point. Tras esta microarquitectura, llegó Meteor Lake (Core Ultra 7 155H) con un Intel empujando fuerte mediante su versión de NPU, y al poco tiempo, AMD respondió con un Refresh de CPU mediante el Ryzen 7 8840U ya en Hawk Point. Con este contexto, lo lógico sería que los rojos probasen su mejor hardware frente a lo mejor de Intel, pero... No ha sido así, y ahora veremos los motivos.
AMD saca los colores a Intel en IA con una NPU y una CPU funcionando casi con la mitad de consumo
Las pruebas ejecutan, obviamente LLM de forma local, con algunos modelos conocidos como LLama 2, Mistral AI o RAG. Lo que intenta mostrar aquí AMD son dos cosas, su rendimiento frente a la competencia, el consumo con el que lo hace y la necesidad y ventajas que aporta tener una NPU para no tener que depender de ningún servicio online, pudiendo trabajar los modelos de forma local y nativa.
Ya sabido esto, los procesadores usados en dos portátiles con la misma RAM DDR5-6400 son el Core Ultra 7 155H en su configuración de 28W, y el Ryzen 7 7840U a 15W. ¿Cómo puede ganar AMD aquí con tanta diferencia de consumo si pierde en CPU? Vamos a verlo.
Ryzen 7 7840U vs Core Ultra 7 155H en Mistral AI
Comenzamos con los TOKENS por segundo bajo LM STUDIO, y como se puede ver, salvo en Q8, en el resto de codificaciones AMD arrasa con Intel, puesto que ya no es tanta la diferencia de rendimiento, sino el consumo con el que lo hace.
Mención especial a la configuración recomendada de los rojos, Q5 K M y la recomendada para uso diario, Q4 K M, donde en la primera asesta un buen golpe, y en la segunda, aunque gana con una amplia ventaja, no es tanta como en la codificación recomendada.
Pasando a los tiempos de codificación del primer Token, el tiempo que tarda AMD es realmente muy inferior al de Intel, es la misma moneda vista en los TOKENS/s pero relativizada en tiempo. La mayor distancia se consigue en Q3 K M, con hasta un 61%.
LLama 2, ¿podrá Intel competir aquí?
Pues no. La metodología usada es exactamente igual a la comentada arriba, así que ya podemos hacernos una idea de cuánta ventaja tiene AMD aquí. En esta ocasión, la mayor distancia frente a Intel entre el Core Ultra 7 155H y el Ryzen 7 7840U se da en Q3 K L, con casi un 20% de GAP, una distancia realmente impresionante a favor de AMD.
En los tiempos se ve perfectamente que con un 52% Intel no puede atrapar, ni de lejos, a AMD. Los TOKEN se generan casi un 50% más rápidamente que en el Core Ultra 7 155H, lo que deja en bastante mal lugar al hardware de los azules.
Resumen y conclusiones de AMD y su NPU frente a la de Intel en IA
AMD ofrece dos gráficos más comparativos generales. En TOKENS por segundo la NPU Ryzen AI es hasta un 14% más rápida de media frente a de Intel, mientras que en Mistral 7b se elevan hasta un 17%.
En los tiempos es todavía más sangrante el GAP, puesto que AMD logra ser hasta un 79% más rápido en LLama V2 y hasta un 41% en Mistral 7b, y todo, con casi la mitad de consumo. Si tenemos en cuenta que la NPU de AMD registra 10 TOPS y la de Intel ofrece 11 TOPS, ¿cómo es posible que AMD le dé semejante paliza a Intel con su NPU en un escenario de IA?
Pues todo apunta a que AMD ha tenido más tiempo para depurar sus drivers y software frente a Intel, y por ello, los azules han puesto más carne en el asador impulsando su software junto con Microsoft para poder competir de igual a igual. Imaginemos qué hubiese pasado si en vez del 7840U hubiese sido el 8840U, el cual tiene una NPU con 16 TOPS.
La diferencia hubiese sido tan grande que estaríamos hablando de varias veces el rendimiento de los azules. ¿Oportunista estos datos de AMD? Posiblemente, pero no son menos ciertos y reflejan, en mayor o menor medida, que Intel tiene que seguir empujando en IA si quiere ponerse a la altura, lo cual, esperan sus usuarios.