AMDInstinct MI300X es un acelerador de IA increíblemente poderoso y las principales empresas de la nube están comenzando a integrarlo en su infraestructura para soportar cargas de trabajo intensivas de IA.
Vultr anunció recientemente que había pedido “miles” de unidades MI300X y ahora Oracle Cloud Infrastructure (OCI) dice que ha adoptado el hardware de AMD para su nueva instancia de OCI Compute Supercluster, BM.GPU.MI300X.8.
El nuevo superclúster está diseñado para modelos de IA masivos que contienen miles de millones de parámetros y admite hasta 16.384 GPU en un solo clúster. Esta configuración aprovecha la misma tecnología de alta velocidad utilizada por otros aceleradores OCI, lo que permite el entrenamiento e inferencia de IA a gran escala con la capacidad de memoria y el rendimiento necesarios para las tareas más exigentes. La configuración lo hace particularmente adecuado para LLM y operaciones complejas de aprendizaje profundo.
Pruebas de preproducción
“El software abierto AMD Instinct MI300X y ROCm continúan ganando impulso como soluciones confiables para impulsar las cargas de trabajo de IA OCI más críticas”, dijo Andrew Dieckmann, vicepresidente corporativo y gerente general de Data Center GPU Business de AMD. “A medida que estas soluciones se expandan aún más hacia mercados en crecimiento con uso intensivo de IA, la combinación beneficiará a los clientes de OCI con un alto rendimiento, eficiencia y una mayor flexibilidad en el diseño del sistema”.
Oracle dice que sus pruebas del MI300X como parte de sus esfuerzos de preproducción validaron el rendimiento de la GPU en escenarios del mundo real. Para el modelo Llama 2 70B, el MI300X logró una latencia de “tiempo hasta el primer token” de 65 milisegundos y escaló de manera eficiente para generar 3643 tokens en 256 solicitudes de usuarios simultáneos. En otra prueba con 2048 tokens de entrada y 128 de salida, entregó una latencia de extremo a extremo de 1,6 segundos, coincidiendo estrechamente con los propios puntos de referencia de AMD.
La instancia OCI BM.GPU.MI300X.8 cuenta con 8 aceleradores AMD Instinct MI300X, que ofrecen 1,5 TB de memoria GPU HBM3 con un ancho de banda de 5,3 TB/s, junto con 2 TB de memoria del sistema y 8 almacenamiento NVMe de 3,84 TB. Oracle ofrecerá la solución básica por 6 dólares por GPU/hora.
“Las capacidades de inferencia de los aceleradores AMD Instinct MI300X se suman a la amplia selección de instancias bare metal de alto rendimiento de OCI para eliminar la sobrecarga de la computación virtualizada comúnmente utilizada para la infraestructura de IA”, dijo Donald Lu, vicepresidente senior de desarrollo de software de Oracle Cloud Infrastructure. “Estamos entusiasmados de ofrecer más opciones a los clientes que buscan acelerar las cargas de trabajo de IA a un precio competitivo”.
