microsoft ha anunciado el lanzamiento del nuevo Azure maquinas virtuales (VM) destinadas específicamente a aumentar las capacidades de supercomputación de IA basadas en la nube.
Las nuevas máquinas virtuales de la serie H200 v5 ya están disponibles de forma generalizada para los clientes de Azure y permitirán a las empresas enfrentarse a problemas cada vez más engorrosos. AI demandas de carga de trabajo.
Al aprovechar la nueva serie de VM, los usuarios pueden potenciar las capacidades de inferencia y entrenamiento del modelo básico, reveló el gigante tecnológico.
Escala, eficiencia y rendimiento
en un publicación de blogMicrosoft dijo que una serie de clientes y socios ya están utilizando la nueva serie de VM para impulsar las capacidades de IA.
“La escala, la eficiencia y el rendimiento mejorado de nuestras máquinas virtuales ND H200 v5 ya están impulsando la adopción por parte de los clientes y de los servicios de inteligencia artificial de Microsoft, como Azure Machine Learning y Azure. AbiertoAI Servicio”, dijo la empresa.
Entre ellos se encuentra OpenAI, según Trevor Cai, jefe de infraestructura de OpenAI, que está aprovechando la nueva serie de VM para impulsar la investigación, el desarrollo y el ajuste. ChatGPT para los usuarios.
“Estamos entusiasmados de adoptar las nuevas máquinas virtuales H200 de Azure”, afirmó. “Hemos visto que H200 ofrece un rendimiento mejorado con un mínimo esfuerzo de portabilidad; esperamos utilizar estas máquinas virtuales para acelerar nuestra investigación, mejorar la experiencia ChatGPT y promover nuestra misión”.
Debajo del capó de la serie H200 v5
Azure H200 v5 VMS está diseñado con el enfoque de sistemas de Microsoft para “mejorar la eficiencia y el rendimiento”, dijo la compañía, e incluye ocho NVIDIA GPU H200 Tensor Core.
Microsoft dijo que esto aborda una “brecha” creciente para los usuarios empresariales con respecto a la potencia informática.
Dado que las GPU crecen en capacidades computacionales brutas a un ritmo más rápido que la memoria adjunta y el ancho de banda de la memoria, esto ha creado un cuello de botella para la inferencia de IA y el entrenamiento de modelos, dijo el gigante tecnológico.
“Las máquinas virtuales de la serie Azure ND H200 v5 ofrecen un aumento del 76 % en la memoria de alto ancho de banda (HBM) a 141 GB y un aumento del 43 % en el ancho de banda de HBM a 4,8 TB/s con respecto a la generación anterior de máquinas virtuales Azure ND H100 v5”, dijo Microsoft en su anuncio.
“Este aumento en el ancho de banda de HBM permite a las GPU acceder a los parámetros del modelo más rápido, lo que ayuda a reducir la latencia general de las aplicaciones, que es una métrica crítica para aplicaciones en tiempo real, como los agentes interactivos”.
Además, la nueva serie VM también puede compensar modelos de lenguaje grande (LLM) más complejos dentro de la memoria de una sola máquina, dijo la compañía. De este modo, esto mejora el rendimiento y permite a los usuarios evitar costosos gastos generales al ejecutar aplicaciones distribuidas en varias máquinas virtuales.
Microsoft cree que una mejor gestión de la memoria de la GPU para los pesos de los modelos y los tamaños de los lotes también es un diferenciador clave para la nueva serie de VM.
Todas las limitaciones actuales de la memoria de la GPU tienen un impacto directo en el rendimiento y la latencia de las cargas de trabajo de inferencia basadas en LLM y crean costos adicionales para las empresas.
Al aprovechar una mayor capacidad de HBM, las máquinas virtuales H200 v5 son capaces de admitir lotes de mayor tamaño, lo que, según Microsoft, mejora drásticamente la utilización y el rendimiento de la GPU en comparación con iteraciones anteriores.
“En las primeras pruebas, observamos un aumento del rendimiento de hasta un 35 % con las máquinas virtuales ND H200 v5 en comparación con la serie ND H100 v5 para cargas de trabajo de inferencia que ejecutan el modelo LLAMA 3.1 405B (con tamaño mundial 8, longitud de entrada 128, longitud de salida 8 y longitud máxima). tamaños de lote: 32 para H100 y 96 para H200), dijo la compañía.
