成都网站建设定制开发系统,免费建一个自己的网站,推广是怎么做的,广东东莞邮政编码http://blog.csdn.net/mao_xiao_feng/article/details/53350798 Hebbian principle
目前图像领域的深度学习#xff0c;是使用更深的网络提升representation power#xff0c;从而提高准确率#xff0c;但是这会导致网络需要更新的参数爆炸式增长#xff0c;导致两个严重的… http://blog.csdn.net/mao_xiao_feng/article/details/53350798 Hebbian principle
目前图像领域的深度学习是使用更深的网络提升representation power从而提高准确率但是这会导致网络需要更新的参数爆炸式增长导致两个严重的问题1、网络更容易过拟合当数据集不全的时候过拟合更容易发生于是我们需要为网络feed大量的数据但是制作样本集本身就是一件复杂的事情。2、大量需要更新的参数就会导致需要大量的计算资源而当下即使硬件快速发展这样庞大的计算也是很昂贵的解决以上问题的根本方法就是把全连接的网络变为稀疏连接卷积层其实就是一个稀疏连接当某个数据集的分布可以用一个稀疏网络表达的时候就可以通过分析某些激活值的相关性将相关度高的神经元聚合来获得一个稀疏的表示。这种方法也呼应了Hebbian principle一个很通俗的现象先摇铃铛之后给一只狗喂食久而久之狗听到铃铛就会口水连连。这也就是狗的“听到”铃铛的神经元与“控制”流口水的神经元之间的链接被加强了而Hebbian principle的精确表达就是如果两个神经元常常同时产生动作电位或者说同时激动fire这两个神经元之间的连接就会变强反之则变弱neurons that fire together, wire together
