Raja Koduri: «Las GPU para PC son la clave del éxito para la IA»
Dado su palmarés y currículum, Raja Koduri se ha ganado el respeto del mundo de los semiconductores. Ya sea con mayor o menor acierto en el hardware que ha diseñado y en los grupos de ingenieros que ha dirigido, no se puede negar que es una voz autorizada en el sector de las GPU. Por ello, sus declaraciones suelen ser bastante jugosas y normalmente bien encaminadas, y ahora tiene algo que decir clave en un momento del mercado muy álgido y donde parece que pocos están prestando atención: "Las GPU para PC son clave en la IA".
Pues sí, para Koduri el enfoque que están teniendo las grandes empresas está, en cierta manera, equivocado. Un usuario lanzó una pregunta al ingeniero en X y las consecuencias a base de conclusiones derivaron en unas reflexiones realmente interesantes que conviene pararse a analizar.
¿La HBM como memoria generalizada en PC y servidor?
La pregunta era esta ante lo que se presupone un empuje sin precedentes en el mundo de la memoria, principal cuello de botella de cualquier GPU o acelerador en la actualidad, sea para gaming, para IA o para HPC. La respuesta de Koduri no se hizo esperar, y como era obvio...
La respuesta es no. Desafortunadamente, el precio por byte en HBM ha aumentado y todo indica que HBM4 costaría aún más por byte. ¡¡Los precios de HBM siguen la Ley de Moore a la inversa!! En 2015, nuestro sueño era convertir a HBM en un dispositivo de memoria convencional, incluido el de los portátiles.
También se enviaron dos diseños móviles, uno de ellos (KBL-G) fue una asociación entre AMD e Intel, el otro se limitó en gran medida a Apple MacBook Pro.
Por tanto, el ingeniero intentó llevar la HBM como memoria principal para CPU y GPU, pero solo terminó siendo óptima en centros de datos, como dice, por puro precio. Esto está haciendo que Intel, AMD y NVIDIA enfrenten en gran parte problemas de suministro en sectores como la IA, donde el package para albergarlas es el principal escollo y, debido a esto, Davi Airlie, ingeniero de GPU de Red Hat, lanzó una declaración a Raja para que expusiese su opinión ante este tema.
¿Han equivocado parcialmente Intel, AMD y NVIDIA el enfoque de las GPU y la IA?
Airlie comentaba lo siguiente:
"Creo que AMD se ha equivocado con su enfoque inconsistente entre las tarjetas de consumo y de centro de datos, los diferentes conjuntos de características limitan a los desarrolladores a usar tarjetas que son más difíciles de conseguir. La producción del MI300 con desarrolladores que utilicen 7900 XTX haría que AMD fuera mucho más práctico".
Y lleva razón, pero solo en la parte del suministro, porque, aunque la RX 7900 XTX tiene bastante memoria, siendo esta GDDR6X, el soporte de ROCm sigue siendo pobre y ahí NVIDIA parte con ventaja, aunque cada vez menos, e Intel se está sumando. Raja argumentó lo siguiente, lo cual es muy interesante:
Sí. Los desarrolladores de GPU para PC son los facilitadores clave para el éxito de las GPU en centros de datos. Por lo tanto, todas las herramientas de desarrollo deben funcionar perfectamente en las GPU de PC. Actualmente, esto es en gran medida cierto con NVIDIA Geforce. Las Radeon definitivamente mejoraron en los últimos 6 meses y están mostrando un mayor compromiso con los desarrolladores de PC.
Arc A770 16 GB también es bastante razonable, pero el compromiso de Intel no está claro. Todavía recibo malas miradas de mis ingenieros cuando les pido que cambien su tarjeta Geforce. Los ingenieros cuestan mucho más que cualquier delta de precios de GPU, por lo que no vale la pena meterse con su productividad.
Las GPU para juegos son muy accesibles en todo el mundo. Solo para dar un ejemplo, los ingenieros de ciudades más pequeñas en lugares como India que no tienen una ruta para acceder a las GPU de CC, pueden ir a su revendedor de PC local, comprar una tarjeta Geforce y comenzar a codificar. Una arquitectura y una pila de controladores consistentes en las GPU de PC y DC serán una gran ventaja. Esta es una desventaja que se pasa por alto en gran medida en el ecosistema acelerador de IA dedicado. Y en secreto, la mayoría de los niños con IA también quieren jugar.
¿Burbuja 2.0 en el sector de las GPU gaming?
Tras esta reflexión llegan los temores, porque, ¿podríamos vivir otra burbuja como la de las cripto cuando todo el mundo se lance a por la IA? Las nuevas generaciones de tarjetas gráficas es probable que tengan la misma cantidad de VRAM, o un poco superior en ciertas gamas, lo cual hace atractiva la serie gaming de cada fabricante para los usuarios.
Por tanto, no es descartable que muchos quieran adentrarse en las capacidades de la IA a través de las GPU para PC, como ya está pasando, y esto podría disparar definitivamente los precios, sobre todo de modelos de gama más baja con VRAM de mayor tamaño.