NVIDIA multiplica hasta por 5 la aceleración de IA en Windows 11 para las RTX 40 y RTX 30
Cuando las NVIDIA RTX llegaron al mercado, fueron una revolución. Teníamos en aquel entonces unas RTX 20 que traían Tensor Cores capaces de acelerar procesos de Ray Tracing o DLSS. En comparación, las GTX 10 e inferiores, no podían competir en la misma liga y pronto se segmentaron ambas gamas. A día de hoy, más de 100 millones de PC ya usan las NVIDIA RTX 30 y RTX 40, beneficiándose así de un rendimiento de varias veces superior en IA gracias a TensorRT-LLM.
Adquirir una GPU de AMD, Intel o NVIDIA depende tanto de nuestro presupuesto como de nuestras preferencias. Con Intel tenemos GPU que si bien se lanzaron con un mal rendimiento, con el tiempo vimos que los drivers mejoraban. A día de hoy no son tan mala opción como se esperaba y las múltiples rebajas que han anunciado les han permitido empezar a levantar el interés en ellas.
TensorRT-LLM 0.6.0 llega el 21 de noviembre para acelerar la IA en los PC con Windows 11 y RTX 30/40
AMD por su parte, podemos decir que no ha tenido la mejor tirada con sus RX 7000, pero se venden bastante bien en el mercado europeo. Sin embargo, a nivel global, NVIDIA se lleva la gran mayoría de ventas y en gran parte se debe a sus características adicionales. Las GPU de la compañía tienen el mejor rendimiento en Ray Tracing y además son compatibles con DLSS 3.5 y Frame Generation.
Todo esto se debe a los núcleos Tensor, pero no acaba ahí. Ahora NVIDIA asegura que multiplicará por 5 la aceleración de la IA en PC con Windows 11 y sus RTX 30 y 40. Esto se debe a que Tensor RT-LLM se añadirá a Windows 11 y permitirá a más de 100 millones de usuarios de RTX aprovecharse de esta librería para acelerar la IA. Será el próximo 21 de noviembre cuando llegue TensorRT-LLM v0.6.0, junto a los drivers de NVIDIA.
NVIDIA y Microsoft colaboran para añadir una interfaz para ChatAPI
Si tenemos una GPU NVIDIA y TensorRT-LLM, los proyectos estarán disponibles de manera local sin tener que guardarlos en la nube. Una de las ventajas de TensorRT-LLM es el uso de RAG para acelerar los resultados de la IA usando una biblioteca local. En esta se guardarán todos los datos que queremos que la LLM analice y así mostrar resultados precisos. Esta versión de TensorRT-LLM será compatible con otras LLM como Mistral 7B y Nemotron 3 8B.
NVIDIA y Microsoft trabajarán conjuntamente para añadir una interfaz para ChatAPI de OpenAI. Esta será una API de chat basada en IA que nos permitirá pedir ayuda para resumir documentos, escribir correos electrónicos, analizar datos y demás. El trabajo conjunto de las compañías permitirá que ChatAPI pueda interactuar con los datos a nivel local, por lo que no tendremos que subir archivos ni depender de la nube. Adicionalmente, también serán compatibles LLM como Llama 2 de Meta y NV LLM.
Si tenéis curiosidad en probar TensorRT-LLM de NVIDIA, este está disponible en GitHub, donde se subió la primera versión oficial (0.5.0). Mientras tanto, el resto tan solo tenemos que esperar al próximo 21 de noviembre, momento en que se lanzará la versión 0.6.0 con ese rendimiento de IA 5 veces superior que promete NVIDIA.