Un grupo de investigadores del Instituto Tecnológico de Massachussets (MIT) se ha centrado en estudiar la simetría dentro de los conjuntos de datos con el fin de disminuir la cantidad de información necesaria para entrenar las redes neuronales. Para desarrollar esta idea, los investigadores aplicaron la ley de Weyl, la cual proporciona una fórmula que mide la complejidad de la información o datos espectrales contenidos dentro de las frecuencias fundamentales de un parche de tambor o cuerda de guitarra.
Hasta ahora se había aplicado esta ley a situaciones físicas, como aquellas relacionadas con las vibraciones de una cuerda o el espectro de radiación electromagnética (cuerpo negro) emitida por un objeto calentado. Sin embargo, los investigadores del MIT creían que una versión personalizada de esta ley de Weyl podría ayudar a resolver los problemas del aprendizaje automático.
El MIT ha modificado la ley de Weyl para que la simetría pueda tenerse en cuenta en la evaluación de la complejidad de un conjunto de datos. La investigación demuestra que los modelos que satisfacen las simetrías del problema no sólo son correctos, sino que también pueden producir predicciones con errores menores, utilizando una pequeña cantidad de puntos de entrenamiento. Esto es especialmente importante en ámbitos científicos, como la química computacional, donde los datos de entrenamiento pueden ser escasos.
El objetivo de todo el ejercicio es explotar las simetrías intrínsecas de un conjunto de datos para reducir la complejidad de las tareas de aprendizaje automático. Esto puede conducir a una reducción en la cantidad de datos necesarios para el aprendizaje.
Reducción de la muestra y complejidad en la tarea de aprendizaje
Hay dos formas de lograr una ganancia o beneficio aprovechando las simetrías presentes. Por un lado, tiene que ver con el tamaño de la muestra a analizar, al ser más reducida agilizaría el proceso de aprendizaje. Por otro lado, es posible lograr un tipo diferente de ganancia (exponencial) que puede obtenerse mediante simetrías que operan en muchas dimensiones. Esta ventaja está relacionada con la noción de que la complejidad de una tarea de aprendizaje crece exponencialmente con la dimensionalidad del espacio de datos.
En base a esto, los investigadores han proporcionado una fórmula que predice la ganancia que se puede obtener de una simetría particular en una aplicación determinada. Una virtud de esta fórmula es su generalidad, ya que funciona para cualquier simetría y cualquier espacio de entrada. Además, funciona no sólo para simetrías que se conocen hoy en día, sino que también podría aplicarse en el futuro a simetrías que aún están por descubrir.