Intel Gaudi2 vs NVIDIA H100: ¿Cuál ofrece mejor rendimiento/precio en inteligencia artificial?
Introducción
La inteligencia artificial ha transformado nuestras vidas, incrementando la productividad y automatizando tareas. Para desarrollar modelos de IA exitosos, como el GPT-4 de ChatGPT, es necesario entrenarlos con millones de datos. Tradicionalmente, las GPU NVIDIA han sido las preferidas debido a su rapidez, pero un estudio reciente revela que Intel Gaudi2 supera a las NVIDIA H100 en rendimiento y precio en IA según investigaciones de Databricks.
El panorama de Intel en el mercado de GPU
Si bien Intel es conocida principalmente por sus procesadores para computadoras, laptops y servidores, también se dedica a otros sectores. Hace más de un año, lanzó una serie de GPU dedicadas basadas en la arquitectura Alchemist. A pesar de la buena relación rendimiento-precio-memoria, no lograron destacarse. Intel apenas pudo competir en la gama media de GPU con su mejor oferta. Sin embargo, también ha lanzado dispositivos como los aceleradores de IA Intel Gaudi.
Las capacidades de Intel Gaudi2 en relación a las NVIDIA H100 en IA
Recientemente, la división de centros de datos de Intel Vision, Habana Labs, anunció el Gaudi3, su acelerador de IA más avanzado hasta la fecha. Fabricado con tecnología de 5 nm, se aseguró que sería más rápido que la GPU NVIDIA H100, una de las más populares en el entrenamiento de modelos de IA, y que también superaría a la MI300X de AMD, la GPU más potente de AMD para inteligencia artificial. Intel prometía un rendimiento 1.5 veces mejor que Gaudi2 y la misma proporción de ancho de banda y memoria.
Según un estudio realizado por Databricks, Intel Gaudi2 compite con las mejores GPU de NVIDIA. La investigación determinó que el acelerador de Intel logra igualar la latencia de las H100 en decodificación y que incluso supera a las A100.
Intel Gaudi2 supera en rendimiento y precio a las NVIDIA H100 y A100
Para demostrar el potencial del acelerador de IA de Intel, Databricks realizó pruebas utilizando MosaicML LLM. Los resultados mostraron que Gaudi2 fue la segunda más rápida, justo después de la NVIDIA H100, con más de 260 TFLOP por cada chip. El rendimiento de Gaudi2 sorprendió a los investigadores, ya que aunque fue un estudio independiente, los resultados fueron similares a los presentados por Intel.
En las pruebas de rendimiento presentadas por Intel, el acelerador Gaudi2 se acercó mucho a la NVIDIA H100 en términos de rendimiento en FP8. Según Intel, la GPU de NVIDIA tenía una mejora del 9% en GPT-J Server cuando se comparaban 8 aceleradores. Sin embargo, Intel lograba una victoria contra la A100, superando su rendimiento en hasta 2.4 veces.
Con los nuevos resultados de Databricks, Gaudi2 ofrece una mejor relación rendimiento-precio, superando tanto a la NVIDIA A100 como a la H100. El rendimiento por dólar de Gaudi2 es de 0.6646 ExaFLOPs/$, mucho más que los 0.1280 ExaFLOPs/$ de la H100. Además, para 2024, las perspectivas para Intel son prometedoras, ya que Gaudi3 está preparado para enfrentarse a las nuevas GPU NVIDIA como la H200.
