Hecha la Ley, hecha la trampa: NVIDIA lanzará 3 nuevas GPU de IA para China driblando las sanciones de EE.UU.
Biden no puede parar a NVIDIA. Jensen Huang está toreando de manera magistral cada sanción y bloqueo que su país impone al de Xi Jinping. Nadie parece hacerle sombra aquí, donde salvo bloqueo expreso a su compañía, el gigante de la IA seguirá vendiendo GPU a China sin importar cuánto capen el hardware desde el gobierno americano. Lo que vamos a ver es un problema de proporciones importantes para Biden, porque lejos de ser un problema para China por la menor potencia de las nuevas GPU, resulta que una de ellas es incluso más rápida que la H100 en un punto en concreto. Por tanto, así serán las HGX H20, L20 PCIe y L2 PCIe.
Basados en la ya a punto de morir arquitectura Hopper (dos son Ada Lovelace), el capado de NVIDIA para torear los requerimientos de Biden apenas ha tardado un par de semanas en aparecer a modo de tres nuevos productos que, sin ser lo que China pretende, van a cambiar el juego una vez más.
NVIDIA HGX H20, un problemón para Biden
No será un problema, será un problemón directamente. Para entenderlo tenemos que comentar las especificaciones que se han filtrado. Tendremos con esta HGX H20 una GPU que tendrá nada menos que 96 GB con HBM3, un ancho de banda de 4 TB/s con un rendimiento bastante bajo impuesto por el guion que marca Biden:
- INT8 y FP8 mediante Tensor Core de 296 TFLOPS
- BF16 y FP16 con Tensor Core de 148 TFLOPS
- TF32 con Tensor Core de 74 TFLOPS
- FP32 con 44 TFLOPS
- FP64 con solo 1 TFLOP
Le acompañarán 60 MB de L2, que es bastante escueto, aunque el consumo se elevará hasta los 400W, y sorprendentemente, algo que todavía no entendemos, NVIDIA ha incluido NVLink sin capar, es decir, irá a 900 GB/s, cuando en teoría eso no sería posible por las restricciones. Volviendo al principio, ¿dónde está la controversia con esta GPU? Pues que esta NVIDIA HGX H20 tiene ciertas novedades provenientes del próximo chip tope de gama de los verdes, el B100, y por ello, su ancho de banda es de 4 Tbps, el cual es superior por un 17,64% frente al de la actual H100.
¿En qué influye esto? Pues que el rendimiento en Inferencia LLM es superior, no inferior, al mejor chip de los verdes de esta generación, y por tanto, China y NVIDIA acaban de torear de una manera brillante a Biden, al menos en parte.
NVIDIA L20 PCIe
Aquí ya entramos en la arquitectura Ada LoveLace, y por lo tanto, tenemos unas características distintas provenientes del chip de la RTX 4090, el AD102. Tendrá 48 GB de GDDR6 con un ancho de banda de 864 GB/s, 239 TFLOPS en INT8 y FP8 y 119,5 TFLOPS en BF16 y FP16.
Destacar que siendo una versión recortada de la L40 incluirá igualmente RT Cores y nada menos que 96 MB de L2, eso sí, vendrá capada en Media Engines NVENC y NVDEC. Dicho esto, su consumo será de solo 275W y será PCIe Gen 4.
NVIDIA L2 PCIe
Será la menor de las tres hermanas, y comparte filosofía con la L20 que acabamos de ver. Tendrá, eso sí, un menor rendimiento, comenzando por sus 24 GB de VRAM GDDR6 con 300 GB/s de ancho de banda para dicha memoria.
El rendimiento es bastante aceptable, con 193 TFLOPS, 96,5 TFLOPS y 48,3 TFLOPS en INT8/FP8, BF16/FP16 y TF32. Tendrá un menor número de RT Cores, 36 MB de L2 y un menos NVENC y NVDEC. Curiosamente, no se ha desvelado su consumo.
Dicho esto, las HGX H20 y L20 PCIe llegarán entre finales de mes y principios de diciembre, lo que evidencia que NVIDIA iba muy por delante de las sanciones que iba a imponer EE.UU. a China. La L2 PCIe en cambio se retrasará a finales de diciembre o principios de 2024. Como es obvio, todavía no se han desvelado los precios.
Un solo dato más, muy importante en la guerra tecnológica entre China y EE.UU. que tiene a NVIDIA de por medio: solo la HGX H20 usará CoWoS, mientras que las L20 PCIe y L2 PCIe emplean un interposer común. Esto significa que el cuello de botella de TSMC con CoWoS solo afectará a la primera, pero no a las dos segundas, que podrán llegar en un alto volumen para las empresas que necesiten entrenar LLM de menor calado.
En otras palabras, la jugada de NVIDIA es muy buena. China pierde potencia de cómputo global, pero ganará en inferencia LLM, pudiendo obtener GPU a un nivel de unidades igualmente grande, lo que evidencia que EE.UU. pretende apretar, pero no ahogar a China como tal, puesto que necesita vender hardware, y lo saben.