Corsair C8: la tarjeta con 256 GB de RAM que dice ser 9 veces más rápida en IA que la NVIDIA H100

NVIDIA comienza a no estar sola en el sector de la IA. AMD va a apostar todo con sus nuevas arquitecturas como bien deslizó la propia Lisa Su hace unos días, pero el mercado no se quedará ahí. Ahora una startup llamada d-Matrix desafía en la distancia a los verdes con su tarjeta Corsair C8, que no es una GPU como tal, y por ello, no sufre algunos de los problemas de estas. ¿Pueden realmente arrebatarle la corona a la H100?

Con un único propósito, así nació la Corsair C8, que nada tiene que ver con la marca de hardware y periféricos más allá de compartir parte del nombre, y que asegura aplastar a los verdes con una promesa de rendimiento, costes y eficiencia que tendría que dejar en otra década a NVIDIA. Pero, ¿qué hay de verdad en esto?

d-Matrix Corsair C8, una startup desafía a un gigante tecnológico como NVIDIA

No se una GPU como tal, es una tarjeta basada en DIMC (Digital In Memory Compute), o lo que es igual, un sistema de cómputo que une la parte lógica y la memoria en un mismo chip, lo que tiene una importante ventaja en un aspecto clave como es la inferencia, principal cuello de botella de las GPU en el LLM.

d-Matrix-Corsair-C8-diagram

Lo que consigue es también muy simple de comprender: no se necesitan transmitir datos desde la memoria y para la memoria, de manera que los cálculos se procesan directamente dentro del mismo chip y como tal, se ahorra mucho tiempo y energía.

No se tiene que enviar la información a través de un bus de datos hacia la HBM entre un procesador y la memoria, todo se trabaja a nivel interno porque es una sola parte, un todo, y por ello se impulsa el rendimiento. Entendido esto, d-Matrix asegura que su Corsair C8 incluye 2.048 núcleos DIMC con 130 mil millones de transistores, los cuales van acompañados de 256 GB de RAM LPDDR5.

Prestaciones de infarto que dejan a NVIDIA en la nada más absoluta

Corsair-C8--(5)

Con lo comentado, el rendimiento que tienen actualmente está catalogado entre 2.400 TFLOPS a 9.600 TFLOPS, lo cual es una locura realmente. Donde no destaca, ni falta que le hace, frente a NVIDIA, es en el ancho de banda entre chips, puesto que consiguen 1 TB/s, que está más que bien.

¿Y cómo se compara esta tasa de rendimiento con el hardware de NVIDIA, en concreto, con la H100? Pues la GPU de NVIDIA en FP16 está algo por encima de los 200 TFLOPS, algo más de 50 en FP32 y un poco por encima de los 25 TFLOPS en FP64. Todo esto teórico, claro.

Corsair-C8--(3)

Por ello, d-Matrix asegura que no es solamente el rendimiento puro, que ya es un disparate como hemos visto, sino que en términos de costes su tarjeta es entre 13 a 27 veces más barata que la H100, es 20 veces más eficiente energéticamente hablando, tiene 20 veces menos latencia y un ancho de banda de memoria 40 veces superior.

Como vemos, las cifras son de otra década prácticamente. El problema es que estos datos, como tal, no han sido demostrados frente al hardware de NVIDIA, en parte, porque siguen recaudando dinero de inversores para poder producir en volumen.

Corsair-C8--(1)

La apuesta es tan seria y de tanto calado que Microsoft ya ha invertido dinero, pero no es la única. SK Hynix ya metió dinero el año pasado, así que esta gente va realmente en serio y actualmente están en la última ronda de financiación y llevan recaudados 110 millones. Cuando presenten los datos de forma pública y no privada veremos si cumplen con lo prometido y si NVIDIA finalmente tiene competencia, más que dura, imposible de alcanzar con sus actuales GPU.