免费的网站软件正能量推荐,搭建网站免费空间,seo课程,上海网站建设联系方式文#xff5c;衡宇 发自 凹非寺源#xff5c;量子位40年前偶然走上程序员道路的Jack Dongarra#xff0c;是今年的图灵奖得主。奖项设立机构美国计算机协会#xff08;ACM#xff09;表示#xff0c;Dongarra的算法与软件成果推动了高性能计算#xff08;HPC#xff09…文衡宇 发自 凹非寺源量子位40年前偶然走上程序员道路的Jack Dongarra是今年的图灵奖得主。奖项设立机构美国计算机协会ACM表示Dongarra的算法与软件成果推动了高性能计算HPC的发展。正是他在数值算法和库上的开创性贡献使得过去40年里高性能计算软件追上了指数级硬件发展的节奏。这位老爷子还弄出了个TOP500的超算排行榜每年两次帮超算跑跑分啥的。刚刚今年71岁的老爷子还参加了中国计算机学会举办的CNCC 2022做了次特邀报告演讲。演讲的主题也与高性能计算息息相关。为什么人类需要超算高性能计算 是指通过聚合计算能力来提供比传统计算机和服务器更强大的计算性能。再通俗点来讲就是用超级计算机来并行处理复杂问题。为什么要用上超算Jack Dongarra举了个例子。他提到科学和工程都通过理论和实验来推进但两者常常遭遇限制尤其是实验部分。会遭遇的“拦路虎”非常多有可能是制造仪器很难搞有可能是所观察的事物发展太过迅猛又或者是没有办法在实验室里完成实验。比如假设有两个星系会发生碰撞这个过程会是什么与其只靠漫长的观测不如在计算机上进行仿真模拟。计算科学增强着当下的种种理论和实验最快的超级计算机能为仿真模拟提供非常好的保真度和准确性更重要的是超算能够覆盖和支持仿真模拟过程中巨大的计算量。这就不得不提到超算的结构。超算由一堆CPU、GPU等异构芯片提供算力。此外它拥有一个高度并行的系统和分布式内存。为超算编程时会用到MPI用于编写并行计算机的跨语言通讯协议以及用于共享内存并行系统的多线程程序设计方案OpenMP。美国橡树岭国家实验室的超级计算机Frontier取得了斐然的成绩在2022年第59届国际超算Top500名单中位居榜首。Frontier大约有800万个核9408个节点它在负载下的电力是21兆瓦。Jack Dongarra打了个顽皮的比方。他说在美国如果他家用掉1兆瓦的电力一年得给电力公司缴纳100万美元的电费。也就是说单是电费Frontier一年就要花掉2100万美元呢Frontier的最高性能是每秒2x1018次浮点运算。这是一个难以置信的计算量。如果现在全球所有人停下手里的工作开始每秒做一次计算昼夜不停、不眠不休地计算四年才能达到1018次浮点运算。然而这样庞大的运算量超算一秒就能完成。除了计算超算还涉及异构数据在不同芯片间的搬运Jack Dongarra称之为移动数据data movingJack Dongarra指出现在的超算对已经对浮点运算做了大量优化移动数据的成本已经比计算成本还高。降低移动数据的成本将成为未来重点的研究方向。此外AI for Science已经在很多科学领域发挥重要作用譬如DeepMind旗下的Alpha系列如Alpha Zero、AlphaStar、AlphaTensor……今年推出的Alphafold2其蛋白质结构数据库揭开了蛋白质宇宙有人因此戏称“结构生物学家要失业了”。超算的另一个发展方向就是更适合做AI计算。AI有很多方面有ML、NLP、专家系统、CV、语音、机器人等。Jack Dongarra给出了超算适合做AI计算的理由。首先互联网上存在的大量数据可以用来训练和建立ML算法与此同时因为提升洞察力ML已经成为了解决问题时所要考虑的“基础设施”之一。而关于用来做ML计算内核的GPU人类也对其背后的算法和理论有了更深度的了解。ML的核心是矩阵线性代数在其中扮演着重要的角色。“8位浮点FP8精度很适用于训练神经网络的硬件。”Jack Dongarra对此进行了进一步解释相比于16位、32位的浮点精度较低的精度正是ML所需要的。这就是为什么现在更多的计算机被设计用来专门解决ML的问题。他还提到未来的超算或许会拥有更多的加速器它们可以用来进行ML、神经神态计算、量子计算、光学计算等。“从标量到向量从向量到分布式内存从分布式内存到加速计算再到使用混合精度来进行计算。”Jack Dongarra总结道“我得出结论这里有三场计算机革命。”意外走上漫漫超算路拿下图灵奖的Jack Dongarra并非一开始就以当程序员为己任一切都是“意外”。高中毕业后他选择进入芝加哥州立大学就读——这所学校类似于地方性的师范学校为芝加哥公立学校系统培养了不少教师。大三、大四时Jack Dongarra福至心灵地“醒悟”发现自己并不想教书。几经周折他申请了阿贡国家实验室的本科生职位。在那里他有机会和真正的科学家一起做一些实际工作并获取课程学分。于是就读于芝加哥州立大学的最后一个学期Jack Dongarra在阿贡国家实验室度过了16周左右的时间。▲1980年Dongarra在阿贡国家实验室在阿贡国家实验室的这段经历促使他决心转攻计算机。本科毕业之后先在在伊利诺伊理工学院拿到CS硕士学位又进入新墨西哥大学继续深造。这里有一张1979年拍摄的照片左数第二个年轻小伙就是Jack Dongarra本人。那个时候作为新墨西哥大学研究生的他头发还很茂盛他自己说的。图上四人搞了个小组开发了一个叫LINPACK的项目为此Jack Dongarra还给自己心爱的车车挂上了同名车牌。具体来说LINPACK是一套求解线性方程组的数学软件。没错那个时候小帅哥本人真正醉心的还是线性代数领域。他曾这样描述自己40年来成为程序员的动力我主攻的是数学方面的研究尤其是数值线性代数方面我所有的工作都源于此。对那些需要解线性方程组的学科来说一款能计算答案的软件无疑是非常重要的。同时你还必须确保软件运行与机器架构相一致这样才能真正获得机器所能达到的高性能。1993年Jack Dongarra加入了TOP500排行榜团队成为了TOP500第一个测试版本的爸爸之一。同年6月正式版本开始发布其所所使用的评选标准被称为LINPACK。自那时起TOP500排行榜半年发布一次告诉大家世界最强大的计算设备都在哪里。这一举措解决了科学家们无法就衡量超级计算机进展的标准达成一致的问题。负责监督美国能源部“百百亿次计算”项目的Paul Messina就表示“如果你不能测量它你就不知道它是什么”这就是为什么杰克的工作很重要。现在TOP500已经成为衡量超算能力的权威标准。而排名第一的计算速度也以摩尔定律描述的节奏稳步增长大约每14个月就会翻倍。天河一号是中国第一台登上榜首 2010年11月 的超级计算机它在榜首呆了六个月时间。上月中旬美国达拉斯举行的 SC22 会议上第60期TOP500排行榜结果公布排名第一的依旧是上次夺魁的Frontier。中国的两台超算神威太湖之光和天河2号分别拿下了排行榜第7和第10位。统计所有上榜TOP500的超算中国共占据162台虽较去年的173台有所下降但仍以领先美国36台的优势稳居世界第一的宝座。在算力方面美国在已部署的算力中以43.2%排名第一中国以10.6%位列第四。Jack Dongarra拿出了一组十分直观的数据。现在的计算机最快每秒是1.1 exaflopsTOP500的最后一名则是1.73 petaflops。而Jack Dongarra的笔电是拥有M2处理器的MacBook它的运行速度是426 gigaflops。近30年前第一代TOP500的榜首属于洛斯阿拉莫斯国家实验室LANL用来设计核武器的计算机CM.5它拥有一千个处理器运行速度大约是60 gigaflops。不用说当年的第一和今日的第一如何如何今天家用笔电的运行速度已经远远超过了30年前的世界最快。好了最后还是说回老爷子。年逾七十的他至今依然活跃在高性能计算领域的一线今年更是夺得“计算机界的诺贝尔奖”图灵奖其中LINPACK正是他拿图灵奖的获奖工作之一。ACM总裁Gabriele Kotsis表示Jack Dongarra是高性能计算社区中最重要且积极参与的领导者之一。超算的新benchmark也是这位积极的领导者提出超算需要新的基准测试了背后原因不难理解——LINPACK基准测试强调浮点运算它的核心是矩阵乘法。多年以前团队设计LINPACK时浮点运算还是一个很重要的衡量标准。今时今日浮点计算已经不那么重要了。放眼望去所有的超算都为浮点计算做了“过量”的准备——Jack Dongarra本人是如此评判的。是以他认为当务之急是需要有新的基准来关心移动数据也就是HPCG。简单介绍HPCG一个共轭梯度算法它着眼于解决稀疏矩阵问题而不是密集矩阵。这恰恰满足了今时今日在实际应用中存在的问题。相比于旧的基准HPLHPCG能更好地反映应用程序的效果但它给出的执行速度的数字会低很多。究其背后的原因是随着GPU的增强计算机已经可以非常迅速地进行浮点运算所以HPL得出的数据其实是超算潜力被夸大后的结果。相对应地HPCG强调不是浮点数而是移动数据这正是带宽和延迟会限制超算性能的地方。就拿日本超算富岳Fugaku来说吧。LINPACK基准测试中富岳排名第一达到了理论峰值的3%而运行新基准富岳只得到了理论峰值的0.8%。这意味着计算机并没有发挥出它们的潜在性能需要更仔细地进行研究。有趣的一点是TOP500超算榜上几乎97%都在使用x86这种架构只有5台超算使用ARM处理器。以及这500台超算没有任何一个使用了RISC-V。“虽然今天它给高性能计算带来的影响很小但也许在未来我们可以看到RISC-V对它的影响。”Jack Dongarra说。One More Thing有些俗套的在CNCC进行特邀报告演讲后Jack Dongarra被问及“有没有经验可以介绍给年轻人”。他的回答大约可以总结为以下三点追随激情做你感兴趣的事情。把目标定得高一点同时做好失败的准备。多和别人互动或许会获取灵感也说不定吼后台回复关键词【入群】加入卖萌屋NLP、CV、搜推广与求职讨论群
