La próxima arquitectura gráfica de AMD implementaría hardware para el punto flotante BFloat16

Una futura arquitectura gráfica de AMD podría implementar la capacidad de ejecutar el punto flotante BFloat16 (punto flotante de cerebro de 16 bits). Las sospechas llegan por medio de las actualizaciones de las librerías ROCm de AMD en GitHub, lo que deja caer un gran indicio sobre la implementación de este estándar de cálculo en un futuro cercano, que tiene ventajas significativas sobre el FP16 que se implementa en las GPUs AMD de actual generación.

AMD Radeon GPU Navi 740x416 0

BFloat16 ofrece un rango significativamente más alto que FP16, que se limita a 6,55 x 10^4, lo que obliga a algunos investigadores de la Inteligencia Artificial a "recurrir" al hardware matemático FP32, relativamente ineficiente. BFloat16 utiliza tres bits significativos menos que FP16 (8 bits frente a 11 bits), pero ofreciendo 8 bits de exponente, mientras que FP16 sólo ofrece 5 bits.

"El formato BFloat16 es [1:8:7], que tiene un bit de signo, ocho bits exponentes, siete bits mantisa más un bit mantisa implícito. En comparación, el formato estándar de punto flotante de 16 bits (FP16) es [1:5:10]. Observa que el formato FP16 tiene solo 5 bits exponentes. Esto significa que BFloat16 tiene un mayor rango dinámico que FP16. Este rango es útil, por ejemplo, para gradientes que pueden estar fuera del rango dinámico de FP16 y que requieren escalamiento de pérdida; BFloat16 puede representar esos gradientes directamente. Además, puedes usar el formato BFloat16 para representar con precisión todos los números enteros [-256, 256], lo que significa que puedes codificar un int8 en BFloat16 sin pérdida de exactitud."

El BFloat16 es más resistente al exceso y al déficit en las conversiones a FP32 que FP16, ya que BFloat16 es esencialmente un FP32 incompleto. La adición de BFloat16 es más bien una medida de "a prueba de futuro" de AMD. Es poco probable que las operaciones atómicas en el renderizado moderno de juegos en 3D se beneficien del punto flotante BFloat16 en comparación con FP16. BFloat16, sin embargo, será un gran aliciente a la comunidad de aprendizaje de la Inteligencia Artificial.

vía: TechPowerUp

Artículos relacionados