网站备案不关站,如何建设网站安全,重庆做网站最好的,oppo官方网站目录 通信机制同步Synchronous异步Asynchronous半同步/延时同步通信的拓扑结构基于迭代式MapReduce的通信#xff08;同步模式#xff09;基于MPI之AllReduce的通信#xff08;同步模式#xff09;AllReduce有很多变种 基于参数服务器的通信#xff08;多为异步#xff0… 目录 通信机制同步Synchronous异步Asynchronous半同步/延时同步通信的拓扑结构基于迭代式MapReduce的通信同步模式基于MPI之AllReduce的通信同步模式AllReduce有很多变种 基于参数服务器的通信多为异步 去中心化算法D-PSGD 通信频率及通信量降低通信频率降低通信时间-通信隐藏减少通信数据量梯度压缩梯度稀疏化模型低秩化处理梯度量化 总结 通信机制
同步Synchronous 基于同步障 步调一致收敛性有保证 等待严重延迟大 Bulk Synchronous Parallel
异步Asynchronous 基于参数服务器或者锁 自主步调等待少 收敛性差
半同步/延时同步 Stale Synchronous 这衷平衡
通信的拓扑结构
基于迭代式MapReduce的通信同步模式 基于MPI之AllReduce的通信同步模式 AllReduce有很多变种
星形拓扑、树形拓扑、蝶形拓扑、环形拓扑 pytorch、TensorFlow和caffe2等框架都实现AllReduce/Ring-AllReduce
基于参数服务器的通信多为异步 去中心化算法
D-PSGD 通信频率及通信量
如何减少通信开销?
降低通信频率Batch训练降低通信时间通信隐藏减少通信数据量梯度压缩过滤、量化
降低通信频率
由于通信间隔会导致各个机器间存在一定的不一致对优化带来一定影响。
该方法在凸优化问题下有理论保证但在处理神经网络等非凸模型时缺乏理论证明往往需要超参数的设置来取得较好的训练效果。
降低通信时间-通信隐藏
非对称的推送和获取异步推送 在参数服务器架构下推送模型更新和获取最新的全局模型两种操作采取不同的频率 谷歌提出的第一代分布式机器学习系统DistBelief [Dean J; NIPS2012]则采用了这种方法 与增加通信间隔类似调整推送和获取的间隔时间也会给模型训练带来一定的精度损失 计算和传输流水线 模型的训练和网络通信构成流水线 减少整体的训练时间开销 模型更新的延迟稍有所增加
减少通信数据量梯度压缩
梯度稀疏化设置闻值过滤掉不重要的梯度更新 模型低秩化矩阵低秩分解不重要的参数不通信 梯度量化 对梯度值进行量化减少bit数
梯度稀疏化 梯度稀疏化是对模型梯度进行过滤 在每次迭代只发送部分参数: 固定闽值稀疏化 [Strom N.ISCA 2015]TopK稀疏化[Aji A F,et al. arXiv:1704.05021]Deep Gradient Compression [Lin Y, et al.arXiv:1712.01887 ]GTopk稀疏化[Shaohuai Shi,et al.ICDCS 2019]基于熵的梯度稀疏化 [Di Kuang,et al.HPCC 2019] 通常梯度稀疏化需要压缩率较大需要配合相应的优化算法实现模型精度与通信效率的平衡。 模型低秩化处理
模型低秩化处理通过低秩分解压缩参数来减少通信量。探索参数中的低秩结构: 矩阵低秩分解将原来比较大的参数矩阵分解成几个较小的矩阵的乘积 精度损失、压缩与解压缩开销
梯度量化
对梯度值进行量化减少bit数降低精度显著降低通信量主要方法 1bit量化[Seide F,et al.2014]QSGD [Alistarh D, et al. NIPS 2017]TernGrad [Wen W, et al. NIPS 2017]
总结
