aspcms手机网站源码,阿里巴巴运营流程,做报名统计的网站,卫生室可以做网站吗CMU 机器人研究所张昊#xff08;Hao Zhang#xff09;博士论文新鲜出炉#xff0c;主要围绕着机器学习并行化的自适应、可组合与自动化问题展开。机器之心报道#xff0c;机器之心编辑部。随着近年来#xff0c;机器学习领域的创新不断加速#xff0c;SysML 的研究者已经…CMU 机器人研究所张昊Hao Zhang博士论文新鲜出炉主要围绕着机器学习并行化的自适应、可组合与自动化问题展开。机器之心报道机器之心编辑部。随着近年来机器学习领域的创新不断加速SysML 的研究者已经创建了在多个设备或计算节点上并行机器学习训练的算法和系统。机器学习模型在结构上变得越来越复杂许多系统都试图提供全面的性能。尤其是机器学习扩展通常会低估从一个适当的分布策略映射到模型所需要的知识与时间。此外将并行训练系统应用于复杂模型更是增加了非常规的开发成本且性能通常低于预期。近日CMU 机器人研究所博士张昊公布了自己的博士学位论文《机器学习并行化的自适应、可组合与自动化》旨在找出并解决并行 ML 技术和系统实现在可用性和性能方面的研究挑战。具体而言该论文从可编程性、并行化表示、性能优化、系统架构和自动并行化技术等几方面对分布式并行 ML 展开了研究并认为分布式并行机器学习可以同时实现简洁性和高效性。此外该论文表明并行 ML 的性能可以通过生成自适应 ML 模型结构和集群资源范式的策略实现大幅度提升同时通过将「如何并行化」这一核心问题形式化为端到端优化目标以及构建可组合分布式 ML 系统来自动优化这类自适应、自定义策略进而可以解决可用性挑战。论文链接https://www.cs.cmu.edu/~hzhang2/files/hao_zhang_doctoral_dissertation.pdf机器之心对该论文的核心内容进行了简要介绍感兴趣的读者可以阅读原论文。论文内容介绍这篇论文主要由三部分组成如下图所示第 1 部分第三章 - 第五章在单个机器学习并行化层面使用自适应并行化理解和优化并行机器学习性能第 2 部分第六章 - 第七章为机器学习并行开发统一的表示和可组合系统第 3 部分第八章机器学习并行化的自动化。论文结构概览论文第一部分提出了一个简单的设计原则自适应并行adaptive parallelism根据模型构建要素比如层的特定 ML 属性将合适的并行化技术应用于模型组成要素中。作者以 BERT 为例总结出了实现这种自适应的基本原理和三个核心概念分别是子模型策略组合、多个并行化方面的系统优化和资源感知。此外作者推导出了一系列优化和实现方法从不同层面去提升 ML 并行化。研究结果表明其显著提高了 ML 训练在集群上的效率和可扩展性。第二部分对这种方法进行了概述并且面向机器学习并行化任务的两个常见范式单节点动态批处理和分布式机器学习并行作者将机器学习的并行化表述为端到端的优化问题并寻找其自动化的解决方法。作者提出了原则表征来表示两类机器学习并行以及可组合的系统架构 Cavs 与 AutoDist。它们能够快速组合不可见模型的并行化策略提升并行化表现并简化并行机器学习程序。Facebook AI 提出的 DETR 的架构图在此基础上论文第三部分提出一个自动并行化框架 AutoSync用于自动优化数据并行分布训练中的同步策略。它实现了「开箱即用」的高性能可以通过提出的表征进行空间导航并自动识别同步策略这些策略比现有的手工优化系统的速度提高了 1.2-1.6 倍降低了分布式 ML 的技术障碍并帮助更大范围的用户访问它。总结来说这篇论文提出的相关技术和系统验证了分布式环境下面向大规模机器学习训练的端到端编译系统的概念与原型实现。AutoSync 策略的自动优化流程算法AutoSync 中的策略空间包含了现有系统中的很多高级策略语言模型的分布式预训练示例预训练语言表征已成为 NLP 系统中最普遍、最关键的部分。使用与任务无关的语言模型框架可以对从 web 抓取的未标记文本进行无监督的训练只需预测下一个单词或句子。预训练表征可以灵活地应用于下游任务针对特定任务的损失和数据集进行微调或是通过少量上下文学习。近年来人们在开发更强大的任务无关 LM 架构方面取得了巨大进展从单层词向量表征到递归神经网络的多层表征和上下文状态以及最新的基于递归 transformer 的架构。下图展示了一个著名的例子——双深度 TransformerBERT——属于第三类。不管网络架构如何语言模型通常包含许多参数而这些参数是在大规模文本语料库上训练出来的这是因为它们的建模能力随其大小以及文本扫描量成正比。假设我们对训练 BERT 感兴趣在基于 AWS 的 GPU 集群上使用 TensorFlow 等框架实现。我们可以使用最先进的开源训练系统——Horovod开始数据并行训练。应用 Horovod 转换单机 BERT 训练代码涉及将原始的框架内置优化器与 Horovod 修补的优化器包装在一起。然后 Horovod 会在集群节点上使用 collective allreduce 或 allgather 来平均和应用梯度。这些 TensorFlowHorovod 代码片段展示了 Horovod 如何给优化器打补丁以及如何为分布式训练进行非常小的代码改变。虽然可能会在目标集群上部署训练但获得的扩展不太可能随着添加更多资源而成比例增长理想情况下线性扩展与加速器的数量成比例增长所有的语言模型都有嵌入层这些层拥有很多模型参数但在每个设备上的每次训练迭代中访问很少减少或聚集其梯度都会导致不必要的网络运作BERT 中的 transformer 是矩阵参数化、计算密集型的与 Horovod 中的常规做法一样将梯度分组在一个缩减环reduction ring中很容易使以太网带宽或异构集群 (如 AWS) 的设备 Flops 饱和。在这两种情况下设置都容易出现通信或计算混乱的情况即训练时间的缩短无法令人满意花费在训练上的计算资源成本在经济上也不能接受。这表明并行化的常规目标并没有实现。所以本文提出的这种自适应并行策略能够为并行化性能进行适当的优化。作者介绍张昊在今年 9 月 2 日完成了博士学位的论文答辩导师为 CMU 教授、Petuum 创始人邢波Eric Xing。获得 CMU 机器人研究所的博士学位后他将以博士后身份进入 UC 伯克利的 RISE 实验室与计算机科学系教授 Ion Stoica 共同工作。他的研究兴趣包括可扩展的机器学习、深度学习以及计算机视觉和自然语言处理领域的大规模机器学习应用。他还协同设计了一系列模型、算法和系统在更大规模数据、问题、应用中进行机器学习扩展以简化复杂机器学习模型和算法的原型开发使机器学习程序分布自动化。以下为论文章节目录
