【神经网络干货】神经网络到底是怎样“学会”的?答案可能藏在内部模块的重组中
训练一个神经网络时,我们最常盯着两条曲线:Loss下降了吗?Accuracy提高了吗?如果准确率从60%提高到95%,通常就会认为网络“学会了”。但一个更有意思的问题是:这95%究竟是怎么来的?训练的几百甚至几千个epoch里,神经网络内部到底发生了什么?一、别只把神经网络看成一堆权重传统机器学习习惯把网络理解成:Input → Layer → Layer → Output然后研究每一层的权重。但还有另一种视角。如果把每一个隐藏神经元看成一个节点,把两个神经元活动之间的相关性看成连接,那么整个隐藏层就可以重新写成:Artificial Neural Network → Functional Network这和神经科学家研究大脑的方法非常接近。于是我们就可以问:网络中有没有“社区”?哪些神经元经常一起工作?这些社区会不会随着学习重新组合?这就是一种新的研究思路:Artificial Network Neuroscience——人工网络神经科学。