El Instituto de Tecnología de Georgia (Georgia Tech) ha recibido el superchip Grace Hopper GH200 de NVIDIA para realizar pruebas, estudios e investigaciones en inteligencia artificial (IA) a gran escala y aplicaciones informáticas de alto rendimiento.
Este chip está diseñado para capacitación en modelos de lenguaje grande (LLM), sistemas de recomendación, redes neuronales gráficas y otras tareas. Gracias al diseño del superchip GH200, se ha aumentado la eficiencia de cálculo donde los datos no tienen que moverse tanto y toda la memoria está en el chip.
Una característica clave del nuevo chip de procesamiento es que la unidad central de procesamiento (CPU) y la unidad de procesamiento de gráficos (GPU) están en la misma placa. La interconexión NVLink Chip-2-Chip (C2C) de NVIDIA une las dos unidades. C2C ofrece hasta 900 Gb/s de ancho de banda total, siete veces más rápido que las conexiones PCIe Gen5 utilizadas en los sistemas acelerados más nuevos.
Como resultado, los dos componentes comparten memoria y procesan datos con más velocidad y mejor eficiencia energética.
Pruebas en cargas de trabajo de ML y LLM
Los investigadores están probando cargas de trabajo de aprendizaje automático (ML) y LLM en el chip. Su trabajo con el GH200 podría conducir a métodos informáticos más sostenibles que sigan el ritmo del crecimiento exponencial de los LLM.
La llegada de LLM domésticos, como ChatGPT y Gemini, supera el límite de las arquitecturas actuales basadas en GPU. El diseño del chip supera las conocidas limitaciones de ancho de banda de CPU-GPU, cuyo diseño se probará en los estudios realizados por Georgia Tech.
La investigación se centra en optimizar el movimiento de datos en plataformas informáticas modernas, incluidos los sistemas aceleradores de IA/ML. El equipo de investigación utiliza el GH200 para analizar LLM que superan los 30.000 millones de parámetros. Este estudio permitirá a los laboratorios explorar optimizaciones del aprendizaje profundo con el nuevo chip.