Las limitaciones del ancho de banda se han convertido en un cuello de botella importante en la IA y la computación de alto rendimiento (HPC), ya que las GPU están infrautilizadas debido a las limitaciones del ancho de banda, y casi la mitad de su potencia computacional se desperdicia.
NVIDIA No se espera que lance interconexiones ópticas para su protocolo NVLink hasta que se lance el motor de cómputo GPU “Rubin Ultra” en 2027.
Este retraso ha llevado a los hiperescaladores y creadores de nubes a explorar formas de superar la tecnología de Nvidia mediante la adopción de interconexiones ópticas antes.
Presentamos ChromX
Fotónica Xscapeuna empresa de interconexión óptica surgida de una investigación en la Universidad de Columbia, está utilizando la fotónica para crear soluciones escalables, de gran ancho de banda, energéticamente sostenibles y rentables para permitir la próxima generación de hardware de simulación, aprendizaje automático y inteligencia artificial.
Esto podría ayudar a la industria de la IA a ahorrar miles de millones de dólares en capacidad de GPU desperdiciada y, al mismo tiempo, ofrecer un camino hacia infraestructuras de IA más ecológicas y sostenibles.
La próxima plataforma Recientemente echó un vistazo más de cerca a Xscape Photonics y habló con el equipo detrás de él, incluido el CEO Vivek Raghunathan, un ex investigador del MIT y Intel ingeniero.
Raghunathan destacó las ineficiencias de los sistemas GPU actuales y explicó que a medida que continúa el escalado, el problema pasa “del rendimiento a nivel de dispositivo GPU a un problema de red a nivel de sistema”.
Aquí es donde entra en juego la tecnología de Xscape. Al convertir señales eléctricas en ópticas directamente dentro de la GPU, Xscape puede aumentar drásticamente el ancho de banda y al mismo tiempo reducir el consumo de energía.
La solución de la startup, llamada plataforma “ChromX”, utiliza un láser que puede transmitir múltiples longitudes de onda de luz simultáneamente a través de una única fibra óptica: hasta 128 longitudes de onda (o “colores”) diferentes. Esto permite un aumento de 32 veces en el ancho de banda en comparación con los láseres que utilizan sólo cuatro longitudes de onda.
La plataforma ChromX también se basa en esquemas de modulación más simples como NRZ (Non-Return-to-Zero), que reducen la latencia en comparación con esquemas de orden superior como PAM-4 utilizados en otros sistemas como InfiniBand y Ethernet. La plataforma ChromX es programable, lo que le permite ajustar la cantidad de longitudes de onda para satisfacer las necesidades específicas de una carga de trabajo de IA, ya sea para tareas de entrenamiento o de inferencia.
Raghunathan dijo La próxima plataformaTimothy Prickett Morgan, de Timothy Prickett Morgan, “La visión es hacer coincidir el ancho de banda de comunicación dentro del paquete con el ancho de banda de escape de comunicación fuera del paquete. Y creemos que cuando utilizamos nuestro enfoque multicolor, podemos igualarlo para que los centros de datos gigantes (o varios centros de datos) se comporten como una gran GPU”.
El impacto potencial de esta tecnología es enorme. Las cargas de trabajo de IA consumen grandes cantidades de energía y, dado que se prevé que la demanda de los centros de datos se triplique para 2035, las redes eléctricas pueden tener dificultades para mantener el ritmo. Las innovaciones de Xscape Photonics podrían ofrecer una solución vital, permitiendo que los sistemas de IA funcionen de manera más eficiente y sostenible.
