Software

La biblioteca de aceleración de la NPU Intel AI Boost pasa a ser de código abierto

Compartir

Hoy conocemos que Intel ha decidido publicar como código abierto su biblioteca de aceleración Intel NPU Acceleration. Esta biblioteca es compatible, evidentemente, con el sistema operativo Windows, y también con Linux. Como un breve resumen, gracias a esta biblioteca se puede usar la NPU Intel AI Boost para ejecutar un modelo de lenguaje (LLM) ligero como TinyLlama. TinyLlama es un modelo compacto con sólo 1.100 millones de parámetros. Esta compacidad le permite adaptarse a multitud de aplicaciones que exigen una huella de cálculo y memoria restringida.

Evidentemente, esta biblioteca está pensada, por ahora, para combinarse con los nuevos procesadores Intel Core Ultra. Los primeros procesadores de la compañía que integran una NPU para lidiar con cargas de trabajo relacionadas con la IA. Evidentemente, este movimiento está enfocado a desarrolladores. Ahora bien, usuarios de a pie, con este hardware, y algo de experiencia en la programación, podrían sacar provecho a su CPU Intel para sus trabajos de IA.

La biblioteca Intel NPU Acceleration ya está disponible en GitHub

Fue Tony Mongkolsmai, Arquitecto de software y evangelista técnico, quien realizó el anuncio en su cuenta oficial de X. Fue el mismo el que ofreció una demostración de software ejecutando el LLM TinyLlama en un portátil MSI Prestige 16 AI Evo

dotado de un procesador Intel Meteor Lake.

La biblioteca de aceleración de NPU de código abierto está pensada principalmente para desarrolladores, pero los usuarios normales, con algo de experiencia en programación, podrían utilizarla para hacer funcionar su chatbot de IA en Meteor Lake.

Para los desarrolladores que han estado preguntando, echa un vistazo a la nueva biblioteca de código abierto Intel NPU Acceleration. Acabo de probarla en mi máquina MSI Prestige 16 AI Evo (Windows esta vez, pero la biblioteca también es compatible con Linux) y siguiendo la documentación de GitHub pude ejecutar TinyLlama y Gemma-2b-it sin problemas.

Esto es para que los desarrolladores trabajen con modelos para la NPU, no es realmente una ruta de producción... para eso quieres usar DirectML/OpenVINO.

Intel hablará oficialmente pronto, pero es demasiado bueno para no compartirlo.

Dado que la biblioteca de NPU Acceleration está diseñada explícitamente para Intel NPU, por el momento sólo puede ejecutarse en procesadores Intel Meteor Lake (Core Ultra). Es lógico de esperar que procesadores de nueva generación como Arrow Lake y Lunar Lake, también con NPU, se aprovecharán de dichas ventas. Ahora bien, estos procesadores no llegarán hasta finales de año. Quizás es mucho más interesante, partiendo porque estas CPU triplicarán el rendimiento de la IA de Meteor Lake. Esto implica que permitirá ejecutar LLM aún mayores tanto en ordenadores portátiles como de sobremesa.

Para terminar, la biblioteca, y es que cuenta con menos de la mitad de las funciones previstas. Faltan la inferencia de precisión mixta que puede ejecutarse en la propia NPU, el formato para cargas de trabajo de IA BFloat16, y el cálculo heterogéneo NPU-GPU.

Borja Rodríguez

Los comentarios de Disqus están cargando....
Publicado por
Borja Rodríguez

Entradas recientes

Elon Musk ya tiene su primera IA multimodal con Grok-1.5V y su capacidad de procesar imágenes y textos

Elon Musk ha estado involucrado en el sector de la inteligencia artificial desde hace un… Leer más

10 horas hace

Pásate a Windows 11 desde los 13 euros gracias a las ofertas de CDKeyoffer

Volvemos con las licencias más demandadas de la mano de CDKeyoffer, las licencias de Windows… Leer más

11 horas hace

El menú de inicio de Windows 11 tiene problemas de rendimiento, incluso usando un i9 de 1600$ y 128 GB de RAM

Microsoft es la compañía más valiosa del mundo en la actualidad, pues a principios de… Leer más

11 horas hace

EE.UU. enfurece ante el nuevo portátil Matebook X de Huawei con chip Intel para IA

Huawei era considerada una de las marcas de smartphones más populares del mundo hace años,… Leer más

14 horas hace

Los usuarios chinos con una GeForce RTX 4090 están forzados a recibir un reembolso en caso de tramitar una garantía de su GPU

Justo en el día de ayer hablábamos de que muchas NVIDIA GeForce RTX 4090 seguían… Leer más

15 horas hace

Star Citizen tiene nuevos requisitos: CPU compatible con AVX y GPU con 4 GB VRAM como mínimo

Cloud Imperium anunció en su web oficial que Star Citizen había visto renovado los requisitos… Leer más

18 horas hace

Esta web usa cookies.