Groq, la empresa creada por miembros de Google TPU, presenta su IA y su hardware LPU: deja en pañales a ChatGPT
Situada en Mountain View, Carolina, Groq se creó debido al descontento de algunos ingenieros de Google dentro de su programa TPU. La empresa, que tiene pocos años de vida, ha presentado su IA y el hardware que la mueve y entrena, el cual es realmente increíble, pues deja en pañales a ChatGPT, pues es casi 10 veces más rápida. ¿Cómo lo han conseguido?
La IA avanza a un ritmo que es prácticamente exponencial. La diferencia de rendimiento entre ellas en cuanto a ChatBot se refiere, y no al hardware que las domina, no para de crecer, y aunque sus unidades de entrenamiento, sus aceleradores, son la base de su rendimiento, lo cierto es que los algoritmos tienen mucho que decir en cuanto a inferencia.
Groq, la empresa que acaba de dejar a ChatGPT en la antigüedad
No es Grok, de Elon Musk, y claro, los nombres se parecen mucho y ya tuvieron sus más y sus menos, puesto que la empresa salida de los ingenieros de TPU de Google llegó primero, y Musk los copió después, lo cual no les sentó demasiado bien. Sea como fuere, Groq es una IA muy del estilo ChatGPT, es decir, es un Chatbot al uso, con texto, donde pones un prompt y obtienes una respuesta, pero hay algunas diferencias.
En concreto, desde el punto de vista de la IA, Groq admite dos modelos: Mistral 8x7B-32K SMoE y Llama 2 7B-4K, aunque tiene un tercero, Mistral 7B-8K, que está offline por actualizaciones. ¿Y qué puede hacer exactamente? Pues consigue un rendimiento de nada menos que 500 tokens por segundo, en el peor de los casos.
Comparando Mistral 8x7B-32K y GPT-4, las diferencias son absurdas para el mismo prompt. Aunque si bien es cierto que GPT-4 entiende mejor algunos conceptos y hay que ser menos explícito. También es cierto que en según qué prompt la opción de OpenAI ofrece mejores resultados, pero eso es algo que Groq puede obtener con el paso del tiempo.
Por lo pronto, es bastante más rápida, y mejorará en el futuro, pero, ¿en qué se basa su hardware exactamente?
De la GPU a la TPU, y ahora, a la LPU
La letra L de esta LPU significa Language, y no es para menos. Groq usa una serie de aceleradores fabricados por Bittware (la empresa que fabrica algunos aceleradores a Intel y AMD para ciertos socios) de los cuales no sabemos mucho realmente.
La compañía ha desvelado poco, pero ha dejado claro que usan un proceso litográfico de 14 nm en sus chips, y que estos tienen 5.120 Vector ALU con 4 motores que son capaces de conseguir 750 TOP/s en Int8 y 188 TFOPS/s en FP16 con 80 TB/s de ancho de banda y 230 MB de SRAM.
En cuanto a la arquitectura, es de desarrollo propio y ha sido denominada como TSP, donde el mismo término se usa para denominar a los chips.
Se estima que el precio de cada TSP para formar una LPU al completo estará sobre los 20.000 dólares, y el objetivo que tiene Groq es coger a NVIDIA en LLM en solo tres años, lo cual parece todavía muy optimista.