很多网站的导航条都设置为7到9,长沙地铁最新招聘500人,杭州建设网站需要多少钱,app怎么查网站备案概述 计算加速 方法一#xff1a; 由于计算机计算矩阵乘法速度非常快#xff0c;所以这是一个虽然提高内存消耗但是计算速度显著上升的方法#xff0c;把feature map中的感受野#xff08;包含重叠的部分#xff0c;所以会加大内存消耗#xff09;和卷积核全部拉伸成为向…概述 计算加速 方法一 由于计算机计算矩阵乘法速度非常快所以这是一个虽然提高内存消耗但是计算速度显著上升的方法把feature map中的感受野包含重叠的部分所以会加大内存消耗和卷积核全部拉伸成为向量组成两个矩阵相乘再想办法恢复为输出的feature map。 方法二 利用傅里叶变换的特性加速计算思路来源于信号处理只对大卷积核有效。 方法三 思路来源于经典算法用的人很少老师也没怎么介绍个人亦是不太感兴趣需要的时候自己查资料吧。 总结 比较简要的总结就是如果真的需要自己实现卷积层的时候那就使用im2col提高效率吧。 GPU/CPU 这一部分老师天南海北的扯了不少中心思想就是深度学习使用GPU分布式计算效果更好英伟达伟光正历史局限性问题现在的谷歌的TPU貌似也有崛起的可能。 不过下图还是展示了即使GPU在并行计算领域效能非凡相对应的CPU很擅长顺序处理面对深度学习的海量数据计算还是力不从心而且好的GPU价格往往不菲不是我吐槽这是老师说的 性能瓶颈 虽然GPU计算速度极其高效但GPU和CPU数据相互拷贝过程还是会消耗大量时间 文件读取比如打开批量jpg时由于不同图片存放于硬盘不同位置随机索引会消耗大量时间而解压缩也会消耗大量时间所以一般的做法是进行预处理解压为顺序存储的像素文件一般各个框架都有自己的标准文件格式 网瘾少年都知道GPU么内存越大价格越贵越好(逃... 浮点类型 深度学习常使用单精度32位浮点数 1.节省内存可以存储更多的数据 2.更少的位数更少的计算量更快的运算速度 在课程中的程序中由于numpy默认精度是64位一般都给出了显示的类型转换。 实际上有很多16位的尝试也有一些取得了不错的结果但是16位的表示范围和精度是个问题有人做过尝试正常的16位运算由于误差积累较难收敛如果运算结果使用高精度暂存然后随机四舍五入具体怎么随机不太明晰的话结果不错还有人使用10位激活函数12位参数更新的精度组合进行计算结果也不错还有极端人士使用1位1或-1进行计算老师说很酷我觉得这只是他的中性的口头禅吧... ... 总之现在老老实实的使用32位即可以后说不定会使用16位计算。 总结 转载于:https://www.cnblogs.com/hellcat/p/7218439.html
