Según los pronósticos, se estima que los centros de datos absorberán hasta el 21% del suministro mundial de electricidad para 2030. Con estos pronósticos, el Centro de Supercomputación del Laboratorio Lincoln (LLSC) del Instituto Tecnológico de Massachussets (MIT) está desarrollando técnicas para ayudar a los centros de datos a optimizar el uso de energía. Sus técnicas van desde cambios simples, como hardware que limita la energía, hasta la adopción de herramientas novedosas que pueden detener el entrenamiento de la inteligencia artificial (IA) desde el principio.
En un panorama más amplio, su trabajo está movilizando la investigación sobre informática ecológica y promoviendo una cultura de transparencia. Como muchos centros de datos, el LLSC ha experimentado un aumento significativo en la cantidad de trabajos de IA que se ejecutan en su hardware. Al notar un aumento en el uso de energía, los científicos informáticos del LLSC sintieron curiosidad por encontrar formas de ejecutar trabajos de manera más eficiente.
Entrenar un modelo de IA requiere el uso de unidades de procesamiento de gráficos (GPU), que son hardware que consumen mucha energía. Como ejemplo, se estima que las GPU que entrenaron GPT-3 (el precursor de ChatGPT) consumieron 1.300 MWh de electricidad, aproximadamente igual a la utilizada por 1.450 hogares estadounidenses promedio por mes.
Limitación de la potencia para ahorrar energía
Si bien la mayoría de la gente busca GPU debido a su potencia computacional, los fabricantes ofrecen formas de limitar la cantidad de energía que una GPU puede consumir. Los investigadores estudiaron los efectos de limitar la potencia y descubrieron que podían reducir el consumo de energía entre un 12% y un 15%, según el modelo.
La compensación por limitar la potencia es aumentar el tiempo de tarea. Las GPU tardarán alrededor de un 3% más en completar una tarea, un aumento que es apenas perceptible considerando que los modelos a menudo se entrenan durante días o incluso meses.
En uno de los experimentos en el que entrenaron el popular modelo de lenguaje BERT, al limitar la potencia de la GPU a 150 vatios se obtuvo un aumento de dos horas en el tiempo de entrenamiento (de 80 a 82 horas), pero se ahorró el equivalente a una semana de energía en un hogar estadounidense. Posteriormente, el equipo creó un software que conecta esta capacidad de limitación de energía al sistema de programación ampliamente utilizado, Slurm. El software permite a los propietarios de centros de datos establecer límites en todo su sistema o trabajo por trabajo.
También han surgido beneficios secundarios. Desde que se implementaron restricciones de energía, las GPU de las supercomputadoras LLSC han estado funcionando aproximadamente 30º Fahrenheit más frías y a una temperatura más constante, lo que reduce la tensión en el sistema de enfriamiento. Hacer funcionar el refrigerador de hardware puede aumentar potencialmente la confiabilidad y la vida útil. Los investigadores están buscando formas de reducir las necesidades de refrigeración programando los trabajos, para que se ejecuten durante la noche y durante los meses de invierno.
Desarrollo de modelos de IA más eficientes
Además de realizar ajustes en las operaciones del centro de datos, el equipo está ideando formas de hacer que el desarrollo de modelos de IA sea más eficiente. Al entrenar modelos, los desarrolladores de IA a menudo se centran en mejorar la precisión y se basan en modelos anteriores como punto de partida. Para lograr el resultado deseado, tienen que determinar qué parámetros usar, y hacerlo bien puede requerir probar miles de configuraciones. Este proceso, llamado optimización de hiperparámetros, es un área que los investigadores de LLSC han encontrado madura para reducir el desperdicio de energía.
En sus estudios, se ha obtenido una reducción del 80% en la energía utilizada para el entrenamiento del modelo. Han aplicado esta técnica a modelos desarrollados para aplicaciones de visión por computadora, procesamiento de lenguaje natural y diseño de materiales.