AMD replica a NVIDIA en IA: el MI300X es el doble de rápido en vLLM y un 30% mejor en TensorRT-LLM que el H100

Para nosotros el lanzamiento más importante de las GPU es para gaming generalmente, con las NVIDIA RTX, AMD RX o incluso las Intel Arc. Pero para las compañías interesadas en la IA que son cada vez más, las GPU para IA de NVIDIA y AMD son las que están en su punto de mira. Las grandes empresas comprarán aquella que ofrezca el mejor rendimiento, siempre y cuando su precio sea acorde a ello. Tras ver como NVIDIA aniquilaba a lo mejor de AMD hace unos días, ahora los del equipo rojo han vuelto a declararse victoriosos utilizando software optimizado para IA donde la MI300X con vLLM supera a la H100 usando TensorRT-LLM.

Se podría considerar que ChatGPT fue la mecha que inició el inmenso interés que ha captado la IA. Es por ello, que si nos ponemos a pensar que apenas lleva un año desde su lanzamiento en noviembre de 2022, resulta sorprendente como todo ha cambiado. Las compañías han dejado otros sectores de interés y se han centrado en la inteligencia artificial, siendo considerada como uno de los mercados más importantes de la actualidad en el mundo tecnológico. De hecho, NVIDIA se está haciendo de oro y aumentó en gran medida sus ingresos debido a que sus GPU para IA son las más rápidas.

AMD se niega a aceptar su derrota: su GPU MI300X con vLLM es un 30% más rápida que la H100 con TensorRT-LLM

En estos momentos, la compañía que ofrezca el mejor rendimiento en IA se va a llevar una gran cantidad de clientes de servidores y centros de datos, además de aquellos que usarán el hardware para entrenar modelos de IA propios. NVIDIA ha logrado ser top ventas en este aspecto y de hecho, sacó pecho hace unos días mostrando como su H100 era el doble de rápida que la MI300X, la GPU más potente de AMD para IA.

NVIDIA aniquiló completamente a AMD en inferencia, mostrando como la MI300X no podía hacer absolutamente nada para competir y además, acusó a la compañía de haber hecho trampas. Ahora vemos que AMD vuelve a contraatacar y en esta ocasión, ha realizado pruebas utilizando software IA optimizado. Aquí podemos ver, que en las pruebas de rendimiento de inferencia usando el modelo Llama 2 70B (creado por Meta), la plataforma con MI300X logra más del doble de rendimiento que la NVIDIA H100 HGX en vLLM. Si pasamos a usar TensorRT-LLM en NVIDIA y vLLM en AMD, tenemos de nuevo otra victoria de los rojos, esta vez con un 30% de rendimiento a su favor. Por último, vemos que la latencia medida en segundos, es ligeramente más baja que en el caso de NVIDIA.

AMD acusa a NVIDIA de haber hecho una comparativa injusta de rendimiento en IA

Al igual que NVIDIA acusó a AMD de hacer trampas, ahora es AMD la que indica que las cifras publicadas por NVIDIA no son justas debido a varias razones. Se ha utilizado TensorRT-LLM en las H100 en lugar de vLLM usado por AMD, dándole así un gran rendimiento a NVIDIA en algo que AMD no puede usar. Según ha indicado la compañía, las pruebas que hicieron los de NVIDIA no eran equiparables, ya que usaron FP16 para la GPU Instinct MI300X y FP8 en las H100.

Acusan a NVIDIA de haber invertido los datos de rendimiento publicados por AMD en cuanto a latencia relativa y por tanto, las pruebas de rendimiento publicadas ahora buscan una comparativa "más justa" con su rival. Aquí vemos que ni siquiera utilizando TensorRT-LLM en las NVIDIA es suficiente para ganar a AMD. Aun así, estamos seguros de que volverán a pelearse para ver quién es el rey de la IA, pues muchas ventas están en juego. Por otro lado, NVIDIA ofrecerá sus próximas H200 en 2024, las cuales usarán arquitectura Blackwell y serán más rápidas.