Intel Gaudi 2 sería hasta tres veces más rápido que Nvidia A100 en tareas de IA 405y3g

El acelerador Intel Gaudi 2 se muestra como una opción para superar ampliamente al Nvidia H100, según unas últimas pruebas realizadas con Stable Diffusion y en Llama 2 LLM. 3a4z25

Intel Gaudi 2: Hasta tres veces más rápido que Nvidia A100 en IA c6z53

Las comparativas de rendimiento de Stability AI publican los resultados de Intel Gaudi 2 frente a las aceleradoras H100 y A100 de Nvidia, ofreciendo un excelente factor de precio/rendimiento.

El Intel Gaudi 2 estaría ofreciendo un 55% más de rendimiento por sobre Nvidia H100 en Stable Diffusion y hasta tres veces más rendimiento que el A100 en tareas de inferencia de IA.

»En las pruebas de inferencia con el modelo de parámetros Stable Diffusion 3 8B, los chips Gaudi 2 ofrecen una velocidad de inferencia similar a los chips Nvidia A100 que utilizan PyTorch base. Sin embargo, con la optimización de TensorRT, los chips A100 producen imágenes un 40% más rápido que Gaudi 2. Anticipamos que con una mayor optimización, Gaudi 2 pronto superará a los A100 en este modelo. En pruebas anteriores en nuestro modelo SDXL con PyTorch base, Gaudi 2 genera una imagen de 1024×1024 en 30 pasos en 3,2 segundos, frente a 3,6 segundos para PyTorch en A100 y 2,7 segundos para una generación con TensorRT en un A100.

La mayor memoria y la rápida interconexión de Gaudi 2, además de otras consideraciones de diseño, lo hacen competitivo para ejecutar la arquitectura Diffusion Transformer que sustenta esta próxima generación de modelos de medios.»

Vía Stability AI

Te recomendamos nuestra guía sobre las mejores tarjetas gráficas del mercado

El Intel Gaudi 2 cuenta con una capacidad de 96 GB HBM permitió que la aceleradora encaje en un tamaño de lote de 32 por acelerador para un tamaño de lote total de 512. Esto permitió una velocidad adicional de 1254 imágenes por segundo, una aceleración del 35% con respecto a los 16 lotes. Esto significó que la aceleradora de Intel fue 2.10 veces más rápida que el H100 y hasta 3.26 veces por sobre el A100.

De esta manera, Intel quiere convertirse en un competidor fuerte en el segmento de la IA frente a sus competidores como Nvidia y AMD. Pueden ver los resultados al detalle desde el siguiente enlace.