La biblioteca de aceleración de la NPU Intel AI Boost pasa a ser de código abierto

Por Borja Rodríguez
03/03/2024
Software

Hoy conocemos que Intel ha decidido publicar como código abierto su biblioteca de aceleración Intel NPU Acceleration. Esta biblioteca es compatible, evidentemente, con el sistema operativo Windows, y también con Linux. Como un breve resumen, gracias a esta biblioteca se puede usar la NPU Intel AI Boost para ejecutar un modelo de lenguaje (LLM) ligero como TinyLlama. TinyLlama es un modelo compacto con sólo 1.100 millones de parámetros. Esta compacidad le permite adaptarse a multitud de aplicaciones que exigen una huella de cálculo y memoria restringida.

Evidentemente, esta biblioteca está pensada, por ahora, para combinarse con los nuevos procesadores Intel Core Ultra. Los primeros procesadores de la compañía que integran una NPU para lidiar con cargas de trabajo relacionadas con la IA. Evidentemente, este movimiento está enfocado a desarrolladores. Ahora bien, usuarios de a pie, con este hardware, y algo de experiencia en la programación, podrían sacar provecho a su CPU Intel para sus trabajos de IA.

La biblioteca Intel NPU Acceleration ya está disponible en GitHub

Intel CEO IA plataforma

Fue Tony Mongkolsmai, Arquitecto de software y evangelista técnico, quien realizó el anuncio en su cuenta oficial de X. Fue el mismo el que ofreció una demostración de software ejecutando el LLM TinyLlama en un portátil MSI Prestige 16 AI Evo dotado de un procesador Intel Meteor Lake.

La biblioteca de aceleración de NPU de código abierto está pensada principalmente para desarrolladores, pero los usuarios normales, con algo de experiencia en programación, podrían utilizarla para hacer funcionar su chatbot de IA en Meteor Lake.

Para los desarrolladores que han estado preguntando, echa un vistazo a la nueva biblioteca de código abierto Intel NPU Acceleration. Acabo de probarla en mi máquina MSI Prestige 16 AI Evo (Windows esta vez, pero la biblioteca también es compatible con Linux) y siguiendo la documentación de GitHub pude ejecutar TinyLlama y Gemma-2b-it sin problemas.

Esto es para que los desarrolladores trabajen con modelos para la NPU, no es realmente una ruta de producción... para eso quieres usar DirectML/OpenVINO.

Intel hablará oficialmente pronto, pero es demasiado bueno para no compartirlo.

Dado que la biblioteca de NPU Acceleration está diseñada explícitamente para Intel NPU, por el momento sólo puede ejecutarse en procesadores Intel Meteor Lake (Core Ultra). Es lógico de esperar que procesadores de nueva generación como Arrow Lake y Lunar Lake, también con NPU, se aprovecharán de dichas ventas. Ahora bien, estos procesadores no llegarán hasta finales de año. Quizás es mucho más interesante, partiendo porque estas CPU triplicarán el rendimiento de la IA de Meteor Lake. Esto implica que permitirá ejecutar LLM aún mayores tanto en ordenadores portátiles como de sobremesa.

Para terminar, la biblioteca, y es que cuenta con menos de la mitad de las funciones previstas. Faltan la inferencia de precisión mixta que puede ejecutarse en la propia NPU, el formato para cargas de trabajo de IA BFloat16, y el cálculo heterogéneo NPU-GPU.