Un grupo de investigadores del Instituto de Automatización de la Academia de Ciencias de China (CAS) y sus colaboradores han propuesto un novedoso método de aprendizaje inspirado en el cerebro (NACA) basado en la plasticidad dependiente de la modulación neuronal, que puede ayudar a mitigar el olvido catastrófico en las redes neuronales artificiales y de picos (ANN y SNN).
El olvido catastrófico es un problema innato del algoritmo de aprendizaje de retropropagación, que afecta a las redes neuronales artificiales y de picos. Para resolver este problema, el método planteado por los investigadores se basa en un modelo matemático de la vía de modulación neuronal en forma de codificación matricial. Después de recibir la señal de estímulo, se generan señales de supervisión de dopamina de diferente intensidad, que afectan aún más a la plasticidad sináptica y neuronal local.
NACA admite el uso de métodos de aprendizaje de flujo directo puro para entrenar tanto ANN como SNN. A través del soporte de difusión global de dopamina, se sincroniza con la señal de entrada e incluso propaga información antes de la señal de entrada. Junto con el ajuste selectivo de la plasticidad dependiente del momento del pico, NACA exhibe ventajas significativas en la rápida convergencia y la mitigación del olvido catastrófico.
Pruebas con patrones de imágenes y voz
En dos tareas típicas de reconocimiento de patrones de imagen y voz, el equipo de investigación evaluó la precisión y el costo computacional del algoritmo NACA. En las pruebas, que utilizaron conjuntos de datos estándar de clasificación de imágenes (MNIST) y reconocimiento de voz, NACA logró una mayor precisión de clasificación (aproximadamente 1,92%) y un menor consumo de energía de aprendizaje (aproximadamente 98%).
Además, el equipo de investigación se centró en probar la capacidad de aprendizaje continuo de NACA en el aprendizaje continuo en clase y amplió la modulación neuronal al rango de plasticidad neuronal.
En las cinco tareas principales de aprendizaje continuo de diferentes categorías (incluidos números escritos a mano MNIST continuos, letras escritas a mano del alfabeto continuo, símbolos matemáticos escritos a mano, imágenes naturales continuas y gestos dinámicos continuos), NACA mostró un menor consumo de energía en comparación con la propagación hacia atrás y algoritmos de consolidación de peso elástico, al tiempo que podrían mitigar en gran medida problemas de olvido catastróficos.