网站建设 成都今网科技,网页设计的各种标签,企业网站怎么制作,做网站怎么做付费推广大模型学习笔记08——分布式训练
模型规模的扩大#xff0c;对硬件#xff08;算力、内存#xff09;的发展提出要求。然而#xff0c;因为内存墙的存在#xff0c;单一设备的算力及容量#xff0c;受限于物理定律#xff0c;持续提高芯片的集成越来越困难#xff0c;…大模型学习笔记08——分布式训练
模型规模的扩大对硬件算力、内存的发展提出要求。然而因为内存墙的存在单一设备的算力及容量受限于物理定律持续提高芯片的集成越来越困难难以跟上模型扩大的需求。
为了解决算力增速不足的问题人们考虑用多节点集群进行分布式训练以提升算力分布式训练势在必行
1、常见的并行策略
数据并行将数据切分为多份分发到每个设备上每个设备上拥有完整的模型参数将所有设备的结果拼接则为完整的输出模型并行每个设备上的数据是完整并一致的每个设备仅有模型的一部分流水线并行将网络切为多个阶段并分发到不同的设备上让完整的数据按顺序途径所有的设备完成计算混合并行流水线并行、数据并行与模型并行都有使用
注
学习内容来源添加链接描述
