Graphcore Colossus MK2 GC200: IPU @ 7nm con 59.400M de transistores, más que la Nvidia A100

Graphcore anunció su nueva IPU (Intelligence Processing Unit / Unidad de Procesamiento de Inteligencia) tope de gama, la cual recibe el nombre de Colossus MK2 GC200 que, como podrás imaginar, está expresamente diseñada para dar vida a la Inteligencia Artificial.

Como su propio nombre indica, estamos ante un coloso de la IA, y es que multiplica por 8 el rendimiento de su predecesora, la MK1. Esto es posible ya que emplea el proceso de fabricación de 7nm de TMSC, dando como resultado un enorme die de 823 mm2, midiendo así casi lo mismo que el silicio gráfico más potente de Nvidia, el A100, que bajo la arquitectura Ampere y el mismo proceso de fabricación tiene un tamaño de 826 mm2.

Las comparaciones no acaban ahí, y es que si la GPU Ampere de Nvidia alardea de esconder en su interior 54.200 millones de transistores, en la IPU de la Colossus MK2 GC200 tenemos nada menos que 59.400 millones de transistores.

"Estamos centrados al 100% en los procesadores para Inteligencia Artificial, y en la construcción de sistemas que puedan conectarse a los centros existentes. ¿Por qué querríamos construir una CPU o GPU si ya funcionan bien? Esta es una caja de herramientas diferente", dijo Nigel Toon, CEO de Graphcore.

Para que la Graphcore Colossus MK2 GC200 funcione, lo que realmente importa son los 1472 núcleos IPU que esconde, cada uno con su propia medida dedicada. Cada UPI tiene 6 hilos ejecutándose en paralelo, lo que nos da un total de 8832 hilos. Para la memoria, el chip hace uso de una solución en la matriz que ofrece 900 MB de memoria disponible por UPI y un ancho de banda de memoria de 47,5 TB/s. La compañía indicó que optó por una baja capacidad de memoria a cambio de un mayor ancha de banda, y esto permitiría unir varias IPUs en un rack ofreciendo un rendimiento final superior a un rack de GPUs Nvidia A100.Para la interconexión de todos estos núcleos, el chip utiliza el tejido IPU-Exchange, que proporciona 8 TB/s de ancho de banda a todas los núcleos. El chip está compuesto por 10 enlaces de UPI que proporcionan un ancho de banda de 320 GB/s de chip a chip, y todo ello respaldado de una interfaz PCI-Express 4.0 x16.

En cuanto al rendimiento computacional, la Colossus MK2 GC200 entrega un rendimiento pico FP16 de 250 TFLOPs (con Sparsity) y un pico FP32 de 62,5 TFLOPs (con Sparsity). La GPU Nvidia A100 ofrece un rendimiento FP16 de 312 TFLOPs (624 TFLOPs con Sparsity) y un rendimiento FP32 de 19.5 TFLOPs (156 TFLOPs con Sparsity).

Para plantar cara a Nvidia, Graphcore presentó su IPU-M2000, un rack con 4x Colossus MK2 GC200 que incluye nada menos que 450 GB de memoria y que de procesador únicamente cuenta con una CPU ARM de 4 núcleos. Cada IPU está refrigerada por un denso radiador de aluminio apoyado por 6x gruesos heatpipes de cobre que van a parar a otro enorme radiador de aluminio refrigerado por 5x ventiladores en forma de mini turbinas.

Según la compañía, dos de sus IPU-M2000 ofrecen hasta 12x veces más rendimiento en FP32 vs el Nvidia DGX-A100 con 8x Nvidia A100; 3x veces más rendimiento en computación de IA; y 10x veces más memoria pagando un poco más: 269,600 dólares frente a los 199.000 dólares de la solución de Nvidia. Su lanzamiento en masa tendrá lugar durante el cuarto trimestre de 2020.