NVIDIA saca pecho con su RTX 4090 al compararla con… Las CPU + NPU de portátiles: «Es hasta 15 veces más rápida en IA»

NVIDIA teme a Intel y AMD, sin olvidar a Qualcomm. Por ello, en su blog oficial ha lanzado un artículo bastante extraño, ya que intenta poner en valor su hardware frente al de la competencia en unas condiciones un tanto extrañas. Y es que compara algunas tarjetas gráficas, tanto de PC como portátiles, con hardware de la competencia que no tiene ningún sentido. ¿Teme perder comba con las CPU + NPU frente a opciones como la RTX 4090?

NVIDIA da la impresión de que teme quedarse fuera de juego y llegar tarde con sus opciones con Mediatek, y por ello, lanza comparativas, un poco descompensadas, con lo que puede llegar a hacer su hardware frente al marketing que está usando la competencia para posicionarse en IA, concretamente, en el sector de los portátiles.

NVIDIA quiere hablar de Tokens por segundo más que de TOPS

"Los TOPS es el comienzo de la historia", aseguran los verdes, y en el fondo no les falta razón. Al número 1 en IA a nivel mundial no se le pueden discutir demasiadas cosas con argumentos, y sí que es cierto que el rendimiento de un LLM se debe medir en cantidad de tokens generados por segundo.

¿Por qué hacer énfasis en esto? Pues porque Qualcomm, Intel y AMD basan su marketing en TOPS como medida de rendimiento, y a NVIDIA esto no le viene bien, y no es precisamente porque vaya a perder obviamente. Es simplemente porque el resultado de un LLM va orientado a tokens por segundo según el tipo de batch a configurar en tamaño.

Dicho todo esto, NVIDIA ha querido mostrar unos datos extraídos de los ingenieros e investigadores de IA de Jan.ai, donde integraron en su hardware TensorRT-LLM para su app de chatbot local, desde donde extrajeron unos datos que son tan curiosos que la comparativa es totalmente absurda, lo cual es lo que nos ha llamado la atención poderosamente.

Una RTX 4090 contra una CPU + NPU de AMD en portátiles

Pues sí, la comparativa es esa, pero no se queda ahí, sino que también usan una RTX 3090, una RTX 4090 configurada como eGPU y una RTX 4070 de portátil. Obviamente, todo el hardware de NVIDIA, y más usando TensorRT-LLM por el camino, es infinitamente superior a lo que puede hacer el hardware de AMD.

Para ser concretos, el Ryzen 9 8945HS ofrece con Llama.cpp 11,57 tokens por segundo, que es casi 4 veces menos que el hardware más lento de NVIDIA en esta tarea, siendo este obviamente la RTX 4070 de portátiles, que ofrece 39,7 T/s.

Mostrada la superioridad evidente del hardware, NVIDIA quiso pasar a otro plano y comparó sus gráficas con Llama.cpp vs TensorRT-LLM para llegar a la conclusión de que su software es entre un 30% a un 70% más rápido a misma GPU, y encima, dicen ser más eficientes. Por lo tanto, NVIDIA no solamente ha mostrado que incluso en portátiles, es mejor su hardware y software que lo que ofrecen sus competidores, sino que dentro de TensorRT-LLM saca pecho ofreciendo un rendimiento muy superior a lo que tienen otros modelos.

Por tanto, los verdes están dando a entender que son líderes en IA también en portátiles y que a AMD, Intel y Qualcomm les queda mucho para ponerse a la altura, tanto, que quizás nunca lo consigan viendo al ritmo a la que va la empresa de Jensen Huang.