Cerebras WSE-3, el chip de IA más grande del planeta: ocupa una oblea completa con sus 900.000 núcleos
Cerebras Systems vuelve a ser noticia con la tercera generación de su chip del tamaño de una oblea, toca hablar del WSE-3. En plena fiebre por la Inteligencia Artificial (IA), como no podía ser de otra forma, este gigantesco chip estará orientado a dicho mercado. Para ello nada menos que ofrecer 900.000 núcleos optimizados para lidiar con cargas de trabajo relacionadas con IA. Hablamos de un enorme cerebro para entrenar hasta 24 billones de parámetros.
El Wafer Scale Engine 3 (WSE-3), como su propio nombre adelanta, es un chip a escala de oblea. Es decir, tradicionalmente, de una oblea pueden salir una gran cantidad de chips funcionales. Es decir, de salir una gran cantidad de procesadores o chips para GPU. En este caso, la oblea entera conforma únicamente un chip. En concreto, un gran cerebro orientado a la IA.
El Cerebras WSE-3 promete ofrecer un rendimiento de IA pico de hasta 125 petaFLOPS
Según Cerebras Systems, su WSE-3 cuenta con nada menos que 4 billones de transistores. Todos ellos están dentro de una oblea con diseño rectangular con un tamaño de 46.225 mm2. Esto implica ser 57 veces más grande que el chip que da vida a la NVIDIA H100, la GPU más grande del mercado con 80.000 millones de transistores. Si bien la NVIDIA H100 cuenta con 16.896 CUDA Cores y 528 Tensor Cores, este WSE-3 ofrece 52 veces más núcleos. Es decir, 900.000 núcleos.
Estos núcleos se ven acompañados de 44 GB de de memoria integrada en el propio chip con un ancho de banda de 21 Petabytes por segundo. La NVIDIA 100 integra 0,05 GB con un ancho de banda de 0,003 Petabytes por segundo. Hablamos de que el chip de Cerebras ofrece 880 veces más memoria integrada en el chip, y un ancho de banda 7.000 veces más elevado. Todo ello se une mediante la interconexión Fabric con un ancho de banda de 214 Petabits por segundo, que es 3.715 veces más que la NVIDIA H100.
El Cerebras WSE-3 está fabricado por TSMC a 5 nm, y da un rendimiento pico de IA de 125 petaFLOPS. Como referencia, la NVIDIA H100 se mueve sobre los 4 petaFLOPS. Así que hablamos de ser 31,25 veces más potente. Adicionalmente, el chip de Cerebras también admite memoria externa al chip. En concreto, hasta 1,2 Petabytes de almacenamiento. Todo ello da lugar a poder entrenar modelos de IA con hasta 24 billones de parámetros.
Utilidad real de este enorme chip
Para empezar, el Cerebras WSE-3 dará vida al clúster de IA CS-3. Este es capaz de entrenar modelos 10 veces mayores que GPT-4 y Gemini gracias a su enorme reserva de memoria. La solución de IA CS-3 está diseñada para usuarios empresariales y de hiperescala y ofrece una eficiencia de rendimiento muy superior a la de las GPU actuales.
La unión de 64 clústers CS-3 serán los encargados de dar vida al superordenador Condor Galaxy 3. Esto dará como resultado 8 ExaFlops de rendimiento de cálculo de IA, duplicando el rendimiento del sistema con la misma potencia y el mismo coste. La compañía no ha comunicado el precio ni la disponibilidad de los chips WSE-3, pero se espera que sean muy caros. Hay que tener en cuenta que cada GPU NVIDIA H100 es capaz de costar unos 30.000 dólares. Ahora bien, con escasez de esta GPU, a los chips Cerebras WSE-3 no le faltarán pretendientes.