01.Setembro.2023
Neuromodulação no cérebro. (A) Quatro tipos de neuromoduladores e suas vias biológicas. (B) Neuromodulação não linear. (C) A neuromodulação diversifica a plasticidade local. Crédito: CASIA
O esquecimento catastrófico, um problema inato com algoritmos de aprendizado de retropropagação, é um problema desafiador na pesquisa de redes neurais artificiais com pico (ANN e SNN).
O cérebro RESOLVEU um pouco esse problema usando plasticidade em várias escalas. Sob REGULAMENTAÇÃO global por caminhos específicos, os neuromoduladores são dispersos para atingir regiões do cérebro, onde a plasticidade sináptica e neuronal é modulada por neuromoduladores localmente.
Especificamente, os neuromoduladores modificam a capacidade e a propriedade neural e plasticidade sináptica. Essa modificação é conhecida como METAPLASTICIDADE.
Pesquisadores liderados pelo Prof. Xu Bo, do Instituto de Automação da Academia Chinesa de Ciências, e seus colaboradores propuseram um novo método de aprendizado INSPIRADO no cérebro (NACA), BASEADO na plasticidade dependente da modulação neural, o que pode ajudar a mitigar o esquecimento CATASTRÓFICO no ANN e no SNN.
O estudo foi publicado na Science Advances em 25 de agosto.
Esse método é BASEADO na estrutura da complexa via de modulação neural no cérebro e depende de um MODELO MATEMÁTICO da via de modulação neural na forma de uma previsível CODIFICAÇÃO de matriz.
Após receber o sinal de estímulo, são gerados sinais de SUPERVISÃO da dopamina de diferentes forças, que afetam ainda mais a plasticidade sináptica e neuronal local.
NACA na tarefa de aprendizagem contínua em classe. Neuromodulação (A, B) em plasticidade neuronal local e plasticidade sináptica. (C-G) Desempenho do NACA em comparação com EWC e BP. Crédito: CASIA
O NACA apóia o uso de métodos puros de aprendizado de fluxo feed forward para treinar ANNAs e SNNs. Através do suporte global à difusão de dopamina, ele SINCRONIZA com o sinal de entrada e até propaga INFORMAÇÕES avançadas antes do sinal de entrada. Juntamente com o AJUSTE SELETIVO da plasticidade dependente do tempo de pico, a NACA apresenta vantagens significativas na rápida convergência e mitigação do esquecimento catastrófico.
Em duas tarefas típicas de reconhecimento de padrões de imagem e fala, a equipe de pesquisa avaliou a precisão e o custo computacional do algoritmo NACA.
Em testes usando os conjuntos de dados padrão de classificação de imagem (MNIST) e reconhecimento de fala (TIDigits), NACA alcançou MAIOR PRECISÃO de classificação (aproximadamente 1,92%) e MENOR CONSUMO de energia de APRENDIZAGEM (aproximadamente 98%).
Além disso, a equipe de pesquisa se concentrou em testar a capacidade de aprendizado contínuo da NACA no aprendizado contínuo de classe e estendeu a modulação neural à gama de plasticidade neuronal.
Nas cinco principais tarefas de aprendizado contínuo de diferentes categorias (incluindo números manuscritos contínuos do MNIST, letras manuscritas em alfabeto contínuo, símbolos matemáticos manuscritos contínuos MathGreek, imagens naturais contínuas do Cifar-10, e gestos dinâmicos DvsGesture contínuos), NACA mostrou menor consumo de energia comparado aos algoritmos de retropropagação e consolidação de peso elástico e pode mitigar bastante os problemas de esquecimento catastróficos.
“A NACA é um algoritmo de otimização global biologicamente plausível que usa plasticidade macroscópica para ‘modular’ ainda mais a plasticidade local, que pode ser vista como uma ‘plasticidade da plasticidade’ método com consistência funcional intuitiva com ‘aprender a aprender‘ e ‘meta-aprendizado‘ “, disse o professor Xu.
***
[Ênfase adicionada por este blog]
Mais informações: Tielin Zhang et al, A brain-inspired algorithm that mitigates catastrophic forgetting of artificial and spiking neural networks with low computational cost, Science Advances (2023). DOI: 10.1126/sciadv.adi2947
Em Defesa do Design Inteligente 