AMD asegura que su GPU Instinct MI300X es hasta 5 veces más rápida que la NVIDIA H200 en inferencia de IA con DeepSeek R1

La inteligencia artificial nos acompaña a todos lados, sea en nuestro móvil o en nuestro ordenador, tanto si utilizamos modelos de IA o porque se encuentra en los programas y apps que utilizamos. Lo cierto es que cada vez es más habitual tener y usar herramientas de IA en nuestros dispositivos, pues hay más opciones y son fáciles de utilizar generalmente. Incluso los modelos de IA de China como DeepSeek R1 se están utilizando en móviles y PC y ahora nos toca hablar de este precisamente. AMD ha mostrado como sus GPU Instinct MI300X son hasta 5 veces más rápidas vs NVIDIA H200 de la competencia en la IA DeepSeek R1 y todo esto mientas mantienen la misma latencia.

Las mayores compañías tecnológicas del mundo están compitiendo entre ellas para ver cuál ofrece la mejor inteligencia artificial en términos de precisión. Como ya habrás visto, tenemos a Google, Meta, Microsoft y otras involucradas en esto, al igual que OpenAI y hasta Apple que aunque tarda, también se está metiendo en el mundillo de la IA. Todas estas están creando nuevos modelos de IA y/o implementándola en sus dispositivos, como Google ha hecho en los Pixel y Samsung en sus Galaxy.

La GPU AMD Instinct MI300X es hasta 5 veces más rápida vs NVIDIA H200 en la IA DeepSeek R1

Hemos visto bastantes cambios en estos años donde la competitividad ha sido muy grande y no solo en empresas estadounidenses, sino que Europa tiene a Mistral y China a DeepSeek. Esta última es la que más nos ha sorprendido, pues ha conseguido ponerse al nivel de OpenAI y el resto utilizando menos cantidad de hardware, lo que provocó pérdidas multimillonarias en NVIDIA tras un bajón de las acciones. Ahora que todo se ha estabilizado, DeepSeek ha empezado a mostrar sus secretos de como consiguieron hacer R1 y las optimizaciones que realizaron.

En estos momentos, DeepSeek R1 es una IA muy a tener en cuenta y que cada vez es más popular con la ventaja de poder usarse de forma local. Con esto, se pueden hacer comparativas de rendimiento y en el blog de AMD ROCM, la compañía ha mostrado como su GPU Instinct MI300X es entre 2 a 5 veces más rápida en la prueba de DeepSeek R1 FP8 con SGLang 0.4.3 vs NVIDIA H200 con SGLang 0.4.4. Podemos ver así que la MI300X logra hasta 7.000 tokens/s con unos 70.000 ms de latencia, mientras que la H200 a esa misma latencia da aproximadamente la mitad de rendimiento. Donde más destaca AMD es a menores latencias, pues a 20.000 ms es cuando más diferencia consigue.

La GPU rinde mejor y a menos latencia que NVIDIA, aunque hay que decir que esto es gracias a las optimizaciones de AMD, ajustes de SGLang y mayor VRAM

La mejora de rendimiento se consigue gracias a las optimizaciones realizadas (AITER) y los ajustes de hiperparámetros de SGLang (chunked-prefill-size 131072), junto a la mayor cantidad de memoria VRAM que tiene la GPU de AMD. Hay que recordar que la MI300X de AMD tiene nada menos que 192 GB de memoria HBM3 mientras que la NVIDIA H200 se conforma con 141 GB de memoria HBM3E, lo que implica tener algo menos de 40 GB menos. Según AMD, su GPU Instinct MI300X puede llegar a superar a NVIDIA tanto en velocidad como en latencia, logrando así hasta un 75% más de rendimiento y un 60% menos de latencia a la misma concurrencia.

Podemos ver la comparativa entre ambas gráficas en cuanto a latencia en el gráfico de arriba y ahí es donde vemos que las NVIDIA H200 pueden hacer hasta 16 peticiones simultáneas con un ITL (latencia entre tokens) inferior a 50 ms. En cambio, con la GPU de AMD se logran hasta 128 peticiones simultáneas con menos de 50 ms.

La entrada AMD asegura que su GPU Instinct MI300X es hasta 5 veces más rápida que la NVIDIA H200 en inferencia de IA con DeepSeek R1 aparece primero en El Chapuzas Informático.