Las GPU AMD Radeon PRO W7800/W7900 con 48 GB son hasta 7 veces más rápidas en DeepSeek R1 vs RTX 4090

La IA empezó a hacerse popular cuando OpenAI lanzó ChatGPT y vimos lo útil que podía llegar a ser este chatbot. Fue una de las primeras formas que tuvimos de experimentar la inteligencia artificial generativa de textos, pues previo a esto los chatbots no eran muy avanzados y casi todo se centraba en la IA generativa de imágenes. Han pasado más de dos años desde entonces y tenemos mucha competencia contras ChatGPT, existiendo varias alternativas. Incluso DeepSeek R1 le planta cara y ahí podemos ver que el rendimiento de las AMD Radeon PRO W7800 y W7900 es mucho mejor que el de las RTX 4090 de NVIDIA.

La inteligencia artificial la podemos utilizar para que nos ayude en todo tipo de tareas, tanto si son específicas como generales. Dentro del primer grupo estaríamos hablando de IA que nos hacen un tipo de contenido en concreto como imágenes o vídeos, además de aquellas que se usan en cosas muy específicas. En el segundo grupo más generalista podríamos englobar todos los modelos de IA que generan texto, pues precisamente aquí entran aquellas IA que nos responden a las preguntas de todo tipo y cumplen nuestras órdenes.

Las Radeon PRO W7800 y W7900 con 48 GB de VRAM son mucho más rápidas en DeepSeek R1 que las NVIDIA RTX 4090

China sorprendió al mundo entero hace unos meses cuando lanzó DeepSeek R1, pues esta IA ofrecía resultados comparables a ChatGPT de OpenAI y a la competencia. El mayor logro es que esto lo consiguió un país que estaba y sigue estando completamente limitado a nivel de tecnología por culpa de Estados Unidos. Recuerda que fue EE.UU. la que le prohibió comprar chips avanzados para IA y adquirir maquinaría para producir sus propios chips, lo que dejó al gigante asiático incapaz de competir. Al menos eso fue al inicio, pues DeepSeek R1 consiguió buenos resultados usando una fracción del hardware respecto al resto de empresas. Además de esto, se trata de un modelo de IA Open Source y encima se puede usar de forma local, algo que no deja ChatGPT.

DeepSeek R1 funciona bastante bien en hardware relativamente modesto si queremos usar sus modelos de IA más pequeños de forma local. Sin embargo, si vamos aumentando la complejidad de estos los requisitos se disparan. Así es como vimos que DeepSeek R1 671B

, su modelo más complejo, requería un PC absurdamente potente con más de 2 TB de RAM y 8 GPU de AMD con 192 GB de VRAM cada una (Instinct MI300X). Ahora tenemos una comparativa de AMD vs NVIDIA en con modelos más sencillo de ejecutar. Así pues, podemos ver el liderazgo de AMD gracias a su mayor VRAM, pues las Radeon PRO W7800 y W7900 son hasta 7,3 veces más rápidas (19,1 y 19,8 tokens/s) que la RTX 4090 (2,7 tokens/s) en DeepSeek R1 Distill Qwen 32B 8 bits.

Las W7800 y W7900 tienen un precio más elevado que la RTX 4090, pero son más baratas que los rivales a nivel profesional de NVIDIA

Si nos ponemos a ver el resto de comparativas, tenemos DeepSeek R1 Distill Llama 70B 4 bits consigue 2,3 tokens por segundo en una RTX 4090, mientras que la Radeon PRO W7800 llega a 12,7 tokens por segundo y la W7900 prácticamente lo mismo, siendo así 5,5 veces más rápidas. Si pasamos ahora a DeepSeek R1 Distill Qwen 32B pero en su versión de 8 bits, la RTX 4090 con 24 GB se conforma con solo 2,5 tokens/s mientras que la Radeon PRO W7800 genera 15,7 tokens/s y la W7900 llega a 16,2 tokens por segundo. Esto implica que en esta prueba AMD vuelve a ser la vencedora con una gran ventaja en cuanto a rendimiento siendo hasta 6,5 veces más rápidas.

Para finalizar con las pruebas, tenemos DeepSeek R1 Distill Llama 70B 4 bits, en el cual la RTX 4090 llega a 2 tokens/segundo, la Radeon PRO W7800 alcanza 10,1 tokens/s y la Radeon PRO W7900 llega a 10,4 tokens/s. Aquí estaríamos hablando de la mejora más pequeña, pero aun así serían 5,2 veces más rápidas. Como ya imaginarás, los modelos de IA se benefician enormemente de la cantidad de memoria, tanto de tu VRAM en la GPU como de la RAM. Así pues, para estos modelos que se han probado, los 24 GB de la 4090 parecen ser insuficientes, aunque claro hay una diferencia de precio significativa. La Radeon PRO W7900 salió por 3.999 dólares y al W7800 por 2.499 dólares, mientras que la RTX 4090 tenía un MSRP de 1.599 dólares.