Recientemente tuvimos un vistazo de lo que GPU con inteligencia artificial por valor de 1.000 millones de dólares Parece que Elon Musk compartió un breve recorrido en video por Cortex, la supercomputadora de entrenamiento de inteligencia artificial de X, actualmente en construcción en la planta Giga Texas de Tesla.
Más recientemente, Musk recurrió a su plataforma de redes sociales para anunciar que Colossus, un nuevo grupo de entrenamiento H100 de 100k, ya está en funcionamiento.
Musk afirma que Colossus es “el sistema de entrenamiento de IA más potente del mundo” y que se construyó “de principio a fin” en solo 122 días. Es un gran logro. Los servidores para el clúster xAI fueron proporcionados por Dell y Supermicro, con un coste del proyecto estimado entre 3.000 y 4.000 millones de dólares.
Este fin de semana, el equipo de @xAI puso en marcha nuestro clúster de entrenamiento Colossus 100k H100. De principio a fin, se realizó en 122 días. Colossus es el sistema de entrenamiento de IA más potente del mundo. Además, duplicará su tamaño hasta los 200k (50k H200) en unos meses. Excelente…2 de septiembre de 2024
¿De dónde obtiene el nombre Colossus?
Ferretería de Tom Notas: “Aunque todos estos clústeres están formalmente operativos e incluso entrenando modelos de IA, no está del todo claro cuántos están realmente en línea hoy. En primer lugar, lleva algún tiempo depurar y optimizar la configuración de esos supercúmulos. En segundo lugar, X necesita asegurarse de que obtengan suficiente energía y, aunque la empresa de Elon Musk ha estado usando 14 generadores diésel para alimentar su supercomputadora Memphis, todavía no fueron suficientes para alimentar las 100.000 GPU H100”.
Se prevé que el sistema Colossus duplique su capacidad, con planes de incorporar 100.000 GPU adicionales: 50.000 unidades H100 y 50.000 de NvidiaLos chips H200 de próxima generación de xAI. El supercúmulo se utilizará principalmente para entrenar el Grok-3 de xAI, el modelo de IA más avanzado y reciente de la empresa. Todavía no hemos visto ninguna mención sobre el almacenamiento para el nuevo sistema, pero deberá ser enorme.
Sin embargo, el nombre de la nueva supercomputadora ha suscitado más de una sorpresa, ya que se trata de una película de ciencia ficción de 1970 (basada en una novela de DF Jones de 1966) sobre una supercomputadora que adquiere conciencia tras recibir el control del arsenal nuclear de Estados Unidos. Como era de esperar, las cosas van terriblemente mal para la humanidad.
Tanto la novela como la película exploran temas actuales como la autonomía de la IA, los peligros de ceder el control a las máquinas y las implicaciones éticas de la inteligencia artificial. Es posible que Musk no fuera consciente de esto cuando se eligió el nombre para su nuevo sistema de entrenamiento de IA, y que lo haya elegido simplemente para enfatizar la magnitud del supercúmulo. Por otra parte, con el historial de Musk, no sería sorprendente que la referencia fuera completamente intencional: sabe exactamente lo que está haciendo.
