Jim Keller, padre de las CPU Ryzen, le declara la guerra a NVIDIA y CUDA en IA con TensTorrent y BUDA

Jim Keller un veterano de la industria, ha mostrado su mapa de ruta y cuál es la estrategia y productos de su actual empresa, TensTorrent. Entre varias  cosas ha hablado de los futuros chips de la pequeña empresa especializada en inteligencia artificial y como pretenden hacer frente al titán que es NVIDIA y su omnipresente CUDA.

TensTorrent, una empresa emergente fundada en 2016, paso a ser de interés general cuando el veterano de la industria Jim Keller su unió a sus filas en 2020. Keller con experiencia previa en AMD, Apple a Intel, y siendo uno de los arquitectos clave en varios procesadores históricos. Sin embargo, la StartUp es una empresa muy pequeña respecto a las anteriores aventuras del ingeniero y totalmente especializada en el hardware para acelerar la IA; un mercado que en la actualidad se encuentre en crecimiento y dónde las diferentes posiciones todavía no son seguras.

CPU especializadas en IA basadas en RISC-V de la mano de Jim Keller

Uno de los apartados más importantes del set de instrucciones RISC-V es que es totalmente libre y modificable a las necesidades de cada chip. Al contrario que ARM o x86, que son de propósito general, en el caso de la ISA libre a la hora de diseñar un chip se pueden añadir y quitar elementos al gusto. ¿La idea? Crear chips de propósito específico, que si bien son programables como una CPU, no gastan recursos en elementos que no aportan nada a su tarea principal. Pues bien, este es al punto desde el que parte Jim Keller en TensTorrent para desarrollar sus chips.

Es más, uno de sus puntos fuertes es el hecho de que pese a que tienen una serie de chips ya desarrollados para clientes genéricos, el hecho de apostar por RISC-V les permite ofrecer permutaciones de su arquitectura, así como diferentes tipos de CPU según la potencia necesaria. Y es que la idea no es solo ofrecer el acelerador, sino también combinar CPU e IA en un solo chip y evolucionar la arquitectura de paso al uso de chiplets para diseños en los que la complejidad del diseño no permita ofrecerlo en un solo chip.

Por lo que su principal ventaja frente a NVIDIA es el hecho de que no tienen un chip universal como ocurre con Apple y sus A100 y H100 para servidores o las RTX para PC de alta gama y servidores. Por lo que empresas interesadas en su tecnologia pueden optar por soluciones más baratas y económicamente más eficientes que las de NVIDIA.

BUDA, la contrapartida a CUDA de TensTorrent para sus chips

Uno de los motivos por los cuales NVIDIA domina el mercado de las tarjetas gráficas orientadas a IA es por el dominio de sus librerías CUDA, de amplio uso en el sector. Sin embargo, en palabras de Keller, por mucho que le añadas arrays sistólicos o unidades tensoriales a una GPU, esta trae consigo una serie de problemas, en especial en eficiencia energética y latencia.

NVIDIA respondió al creciente auge de la IA con sus GPU. Sin embargo, las tarjetas gráficas no están optimizadas para el procesamiento de IA. Necesitamos demostrar que nuestro acelerador de IA supera en eficiencia. El procesamiento de IA con GPU puede presentar cuellos de botella en el acceso a la CPU y la memoria. En la próxima generación, con la integración de RISC-V en Blackhole, como CPU, podemos superar estos cuellos de botella y lograr una computadora de IA más eficiente en consumo de energía y de bajo coste.

No obstante, es imposible competir contra NVIDIA si no tienes un buen stack de software detrás, La apuesta de TensTorrent en este caso es BUDA, el cual se presenta en dos vertientes diferenciadas:

• BUDA estándar es para optimizar modelos ya existentes a la arquitectura de TensTorrent.
• BUDAM es para desarrollar modelos desde cero, totalmente optimizados para el hardware de la compañía.

Keller no se contenta en tocar solo uno de los muchos palos en su empresa actual, en la que no solo es director técnico, sino también director general. Por lo que sus chips están pensados para ir desde la generación de imágenes hasta el procesamiento de lenguaje general. Las dos ramas de la Inteligencia Artificial con un éxito comercial más grande en estos momentos.