La empresa de IA Tiny Corp abandona el hardware de AMD por el de Intel y NVIDIA

Tiny Corp, una compañía enfocada a ofrecer clústers de computación de Inteligencia Artificial (IA) a bajo coste, ha anunciado que abandona el uso del hardware de AMD. El motivo detrás de ellos son los importantes obstáculos que se han encontrado en el desarrollo de sus clústers de IA bautizados como "TinyBox".

En concreto, las personas que conforman Tiny Corp esperaban importantes noticias de AMD a principio de este mes, pero nunca llegaron. Para ser exactos, estos problemas están ligados al firmware de la GPU de consumo tope de gama de la compañía, la Radeon RX 7900 XTX. El equipo detrás de Tiny Corp tenía un un "70% de confianza" en que AMD aprobara la distribución abierta de ciertas partes del firmware. Ahora bien, parece que AMD no ha hecho nada, ya que la compañía reveló de forma pública que estaba comenzando a probar las tarjetas gráficas Intel Arc. Evidentemente, NVIDIA es otra posible alternativa para la compañía.

Tiny Corp indica que el firmware de las GPU de AMD es complejo y no está documentado

TinyBox
TinyBox

En concreto, Tiny Corp indica que, tras comunicar varias veces a AMD el problema que tenían para crear sus clústers de IA, estos no recibieron ninguna respuesta satisfactoria, alegando que AMD estaba "dudando" en abrir su trabajo. Con abrir se refieren a que el firmware de las GPU de AMD es "complejo, no documentado, de código cerrado y firmado, todos son problemas que no tendríamos con nuestro hardware". Esto implica no poder configurar bien sus clústers de computación valorados en 15.000 dólares

Estos clústers que estaban creando empleaban seis tarjetas gráficas AMD Radeon RX 7900 XTX. Con ello intentaban normalizar el uso de GPUs de consumo para cargas de trabajo de IA, y todo ello a un precio atractivo para aquellos profesionales u organizaciones que no podían recurrir al costoso hardware diseñado para acelerar cargas de trabajo de IA. Ahora bien, sin un software a la altura, realmente el producto no era muy útil. Ahora bien, desde el lado de AMD se podría pensar que defienden al consumidor, pero hay que recordar que la propia AMD ofreció soporte al software AMD ROCm para que estas GPU pudieran realizar cargas de trabajo de IA.

"La tinybox de AMD está en suspenso hasta que podamos crear y ejecutar el firmware correspondiente en nuestras GPU. El controlador sigue siendo muy inestable, y cuando se bloquea o se cuelga no tenemos forma de depurarlo. No tenemos forma de volcar el estado de una GPU. Al parecer, no es sólo el MES el que causa estos problemas, sino también el procesador de comandos (CP).

El Plan B es recurrir a las Intel Arc A770 y las NVIDIA GeForce RTX 4090

hardware de Tiny Corp para hacer los TinyBox

"Estamos explorando Intel, trabajando en añadir soporte Nivel Cero a tinygrad. También hemos añadido una recompensa de 400 dólares por la compatibilidad con XMX. También estamos (tristemente) explorando una caja con seis GeForce RTX 4090. Al menos sabemos que el software es bueno allí".

Esa es la continuación del texto de arriba. Como podemos apreciar, el Plan B es recurrir a las Intel Arc A770. Esta es la GPU tope de gama de Intel compatible con 8 y 16 GB de memoria VRAM. Tal y como se puede apreciar, están pagando para que algún desarrollador consiga la compatibilidad con XMX. Al igual que NVIDIA, las GPU Intel Arc cuentan con hardware dedicado para la aceleración de IA, en este caso los motores XMX. De esta forma, si quieren crear un clúster para la aceleración de IA, es esencial emplear este hardware dedicado para su propósito.

En caso de no conseguirlo, o que el desempeño que esperan no esté a la altura, ya planean su Plan C. Este pasa por recurrir a NVIDIA. Si bien indican que el software es su mayor punto positivo, el problema está en el precio. Este hará menos competitivos sus clústers de computación de IA. También aumentarán sus gastos.