Exclusivo: la investigación de Databricks confirma que Gaudí de Intel supera a Nvidia en cuanto a rendimiento de precios para aceleradores de IA.

Nvidia no es la única empresa que fabrica aceleradores de IA para entrenamiento e inferencia, es un área en la que Intel también compite ferozmente y supera con su tecnología Intel Gaudi 2, según una nueva investigación.

Databricks realizó un nuevo estudio publicado hoy que revela que Intel Gaudi 2 ofrece una fuerte competencia de rendimiento contra los aceleradores de IA líderes en la industria de Nvidia. La investigación de Databricks reveló que para la instancia de lenguaje grande (LLM), Gaudi 2 igualó la latencia de los sistemas Nvidia H100 en decodificación y superó a la Nvidia A100. El estudio encontró que el procesador Gaudi 2 logra una mayor utilización del ancho de banda de la memoria que el H100 y el A100.

Nvidia sigue ofreciendo rendimiento de entrenamiento con sus aceleradores de primera línea. Utilizando la fábrica Databricks MosaicML LLM para capacitación, los investigadores descubrieron que Gaudi 2 logró el segundo rendimiento de capacitación LLM de nodo único más rápido después de NVIDIA H100, con más de 260 TFLOPS/chip. En general, el estudio de Databricks informó que, según el valor general de la nube, Gaud i2 tiene la mejor relación dólar por rendimiento tanto para entrenamiento como para inferencia en comparación con el A100 y el H100.

Intel proporciona los resultados de sus pruebas en Gaudi 2 a través del punto de referencia MLcommons MLperf tanto para entrenamiento como para inferencia. Nuevos datos de Databricks, un tercero, proporcionan una verificación adicional para Intel sobre el rendimiento de su tecnología Gaudí.

«Quedamos impresionados con el rendimiento de Gaudi 2, especialmente la alta utilización lograda para la salida LLM», dijo a VentureBeat Abhinav Venigalla, arquitecto principal de PNL en Databricks. «Anticipamos una mayor capacitación y mejoras de rendimiento resultantes del uso del soporte FP8 de Gaudi 2, que está disponible en su última versión de software. Debido a limitaciones de tiempo, solo pudimos realizar pruebas utilizando BF16».

Las cifras de rendimiento de Databricks tampoco sorprenden a Intel. Eitan Medina, director de operaciones de Habana Labs, una subsidiaria de Intel, dijo a VentureBeat que el informe es consistente con los datos que Intel está midiendo y los comentarios que recibe de los clientes.

«Siempre es bueno recibir confirmación de lo que decimos», dijo Medina. «Dado que mucha gente dice que Gaudí es el secreto mejor guardado de Intel, es realmente importante proporcionar reseñas como ésta para que más clientes sepan que Gaudí es una alternativa viable».

Intel continúa logrando ganancias competitivas para Gaudí

Intel adquirió la startup de chips de IA Habana Labs y su tecnología Gaudí en 2019 por 2 mil millones de dólares y ha estado mejorando constantemente la tecnología a lo largo de los años desde entonces.

Una de las formas en que los proveedores intentan demostrar el rendimiento es a través de métricas estándar de la industria. Tanto Nvidia como Intel contribuyen periódicamente a los puntos de referencia MLCommons MLPerf tanto para entrenamiento como para inferencia, que se actualizan varias veces al año. En los últimos puntos de referencia de entrenamiento de MLPerf 3.1 publicados en noviembre, tanto Nvidia como Intel obtuvieron nuevos récords de velocidad de entrenamiento de LLM. Hace unos meses, en septiembre, se lanzaron los puntos de referencia MLPerf 3.1, con un sólido rendimiento competitivo tanto para Nvidia como para Intel.

Si bien los puntos de referencia como MLPerf y el informe Databricks son valiosos, Medina señaló que muchos clientes confían en sus propias pruebas para garantizar que la pila de hardware y software funcione para un modelo y caso de uso específicos.

«La madurez de la pila de software es muy importante porque la gente es escéptica a la hora de comparar organizaciones que optimizan a los proveedores para cumplir con esa métrica en particular», dijo.

Según Medina, MLPerf tiene su lugar, porque la gente sabe que para generar resultados, una pila de tecnología debe superar un cierto nivel de madurez. Dicho esto, enfatizó que los resultados de MLPerf no son algo en lo que los consumidores confiarán para tomar una decisión comercial.

«Los resultados de MLperf son una especie de filtro de crecimiento que las organizaciones utilizan antes de invertir tiempo en pruebas», dijo Medina.

Gaudí 3 llegará en 2024

Los nuevos datos sobre Gaudi 2 llegan mientras Intel se prepara para lanzar su tecnología de aceleración de IA Gaudi 3 en 2024.

Gaudi 2 está desarrollado con un procesador de 7 nanómetros, mientras que Gaudi 3 se basa en un procesador de 5 nanómetros y proporcionará 4 veces la potencia de procesamiento y duplicará el ancho de banda de la red. Medina dijo que Gaudí 3 se lanzará y producirá en masa en 2024.

«Gaudi 3 es un producto que toma a Gaudi 2 y proporciona únicamente liderazgo en rendimiento», afirmó Medina. «Ese es un aumento realmente grande en el rendimiento que se traduce en ventajas en rendimiento por dólar y rendimiento por vatio».

Mirando más allá de Gaudí 3 y la posibilidad de 2025, Intel está trabajando en generaciones futuras que combinarán la tecnología de alta confiabilidad (HPC) de la compañía y el acelerador de IA. Intel también sigue viendo valor en sus tecnologías de CPU para cargas de trabajo de IA. Intel anunció recientemente sus procesadores Xeon de quinta generación con aceleración de IA.

«Las CPU todavía tienen una cantidad significativa de rendimiento e incluso un ajuste fino puede ser útil en las CPU», dijo Medina. «Las CPU participan en la preparación de datos y, por supuesto, con el acelerador Gaudí se presentan para cargas de trabajo donde la densidad de cálculo es extrema para la IA; por eso, la estrategia general es ofrecer varias soluciones».