¿Alguna vez has imaginado aprovechar hasta 100 petabytes de RAM? Bueno, esta startup podría ser la clave para desbloquear capacidades de memoria innovadoras.
La startup coreana Panmnesia presentó lo que describió como el primer clúster de IA del mundo habilitado para CXL con conmutadores 3.1 durante la reciente Cumbre Global OCP de 2024.
La solución, según Panmnesia, tiene el potencial de mejorar notablemente la rentabilidad de los centros de datos de IA al aprovechar Enlace exprés de cálculo (CXL) tecnología.
Escalable, pero costosa
En un anuncio, la startup reveló que el clúster de IA habilitado para CXL se integrará en sus productos principales, el conmutador CXL 3.1 y el IP CXL 3.1, los cuales admiten las conexiones entre los nodos de memoria CXL y los nodos GPU responsables de almacenar grandes conjuntos de datos. y acelerar el aprendizaje automático.
Básicamente, esto permitirá a las empresas ampliar las capacidades de memoria equipando memoria adicional y dispositivos CXL sin tener que comprar costosos componentes de servidor.
El clúster también se puede escalar a niveles de centro de datos, afirmó la compañía, reduciendo así los costos generales. La solución también admite conectividad entre diferentes tipos de dispositivos CXL y puede conectar cientos de dispositivos dentro de un solo sistema.
El costo de tal esfuerzo podría ser insostenible
Si bien recurrir a 100 PB de RAM puede parecer excesivo, en una era cada vez más engorrosa AI cargas de trabajo, no está exactamente descartado.
En 2023, Samsung reveló que planeaba utilizar su memoria DRAM DDR5 de 32 GB para cree un enorme módulo DRAM de 1 TB. La motivación detrás de esta medida fue ayudar a lidiar con cargas de trabajo de IA cada vez más grandes.
Si bien Samsung aún no ha proporcionado una actualización de desarrollo, sabemos que las unidades de RAM más grandes que Samsung ha producido anteriormente tenían un tamaño de 512 GB.
Presentados por primera vez en 2021, estaban destinados a su uso en servidores de próxima generación con CPU de alta gama (al menos según los estándares de 2021, incluido el AMD CPU EPYC Génova y Intel Procesadores Xeon Escalables 'Sapphire Rapids'.
Sin embargo, aquí es donde el costo podría ser un factor inhibidor importante con el grupo Panmnesia. Precios de productos comparables, como los módulos de memoria Dell 370-AHHL con 512 GB, actualmente cuesta poco menos de $ 2,400.
Eso requeriría una inversión significativa por parte de una empresa desde cualquier punto de vista. Si uno tuviera que aprovechar el módulo DRAM de 1TB de gama alta de Samsung, los costos simplemente se dispararían dado que el precio esperado el año pasado rondaba los $15,000.
