手机微网站建设方案,购物网站开发小结,wordpress评论头像问题,ip地址进入网站怎么做的来源 | 编程技术宇宙责编 | Carol封图 | CSDN 下载自视觉中国内存访问瓶颈我是CPU一号车间的阿Q#xff0c;前一阵子我们厂里发生了一件大喜事#xff0c;老板拉到了一笔投资#xff0c;准备扩大生产规模。不过老板挺抠门的#xff0c;拉到了投资也不给我们涨点工资#x… 来源 | 编程技术宇宙责编 | Carol封图 | CSDN 下载自视觉中国内存访问瓶颈我是CPU一号车间的阿Q前一阵子我们厂里发生了一件大喜事老板拉到了一笔投资准备扩大生产规模。不过老板挺抠门的拉到了投资也不给我们涨点工资就知道让我们拼命干活压榨我们的劳动力。老板说了投资的钱要用来添置设备招聘新员工咱们原来就有八个车间了这一下直接double变成了十六个我们的工资要是也能double就好了···现在我们变成了一个16核的CPU啦原以为我们生产效率也能double没想到却遇到了新的问题。我们CPU里面各个车间访问内存都要通过内存控制器和总线系统有时候碰到几个车间都要访问内存就得要竞争。以前我们八个车间的时候竞争情况还不是很激烈大家互相谦让一下也就罢了。现在变成了十六个车间都要过独木桥这竞争一下就激烈了尤其是我们这帮老员工基本不会让着新来的为了此事经常发生不愉快。内存访问出现了瓶颈这性能自然是折损严重。NUMA架构老板把这一切都看在眼里私下里找了我、二号车间的虎子还有总线主任开了个小会。“你们几个都是厂里的核心员工对厂里目前的问题你们怎么看”老板问我们几个。我和虎子互相瞅了瞅都没说话。这时总线主任开口了“老板现在的问题是访问内存的路只有一条大家都要来挤难免会发生摩擦影响工作性能。要想从根本解决问题最好再建一条路”“再建一条路什么意思”“我建议把新扩建的那8个车间独立出去建一个分厂。然后再把内存分一下让两个厂各管理一部分。一来可以减少新老员工之间的矛盾二来可以减少大家访问内存拥挤造成的资源浪费。再说了万一以后继续扩大规模还可以继续用这个办法”总线主任继续说到。领导正低头思索我倒是想到了一个问题“主任要是我们一号核执行的线程要访问的内存页面不在我们厂管理的内存上在他们分厂怎么办呢”“嗯这样的话两个厂之间需要通信如果访问的内存不在自己管辖的范围就要互相帮忙传递一下”老板拍了下桌子“好主意就这么办”第二天老板召集16个车间的代表总线主任还有操作系统那边负责内存管理的代表小李一起开了一个大会会上正式通过了新的技术方案。还给这项技术取了一个名字NUMANon Uniform Memory Access非一致性内存访问。现有的16个车间拆分成两个CPU工厂叫做两个NUMA节点Node每个节点直接连接一部分内存两个节点之间有专门的的inter-connect通道。各节点直接访问自己管理的内存叫Local Access通过inter-connect通道访问其他分厂管理的内存叫做Remote Access。很显然前者的访问速度要比后者快得多所以这也是这项技术名字的由来非一致性内存访问。新的组织架构调整过后厂里的工作效率提升不少矛盾摩擦也少了很多又可以愉快的干活了。操作系统支持我们的组织架构调整了操作系统那边可忙坏了。为了支持我们新的架构操作系统不得不配合着做一些调整。首先是缓存的问题操作系统的进程线程调度管理部门需要注意尽量不要跨NUMA节点进行调度线程不能让一个线程一会儿在隔壁分厂运行一会儿又在我们厂运行这样建立的缓存就失效了。还有就是内存亲和性的问题了为了能得到更快的内存访问速度操作系统的内存管理部门制定了一个内存分配策略线程在哪个NUMA节点内执行那就把内存分配到那个节点直接连接的内存中避免跨节点的内存访问。还别说操作系统这么一优化调整工作效率真是提升了不少呢。然而好景不长就因为这个调整新的问题又双叒叕出现了~~~MySQL的问题最近一段时间发生了一件怪事不知道怎么回事我们分厂管辖的内存很快耗光了但隔壁分厂管理的内存还有很多空间。操作系统不去分配那边的内存页面却让我们一个劲的把内存页面swap到硬盘上去腾挪空间。我们花了大量时间在这上边搞得我们业绩下滑还比不上隔壁分厂那帮新人。终于有一天忍不了了我伙同厂里几个老家伙把操作系统内存管理部门的小李又叫来了。“你们怎么回事就不能分配隔壁二号节点分厂管辖的内存吗明明还有那么多空间却让我们忙个不停”我有点生气。小李满脸无辜的说到“不瞒你们各位前几天有人来我们Linux帝国开设了一家新公司叫MySQL这家伙是个吃内存大户啊一上来就要吃掉几十G你们厂管辖的内存大半都被它给吃掉了”虎子问到“这跟我们有什么关系你别推卸责任啊”“上次我来开会你们不是搞了个什么NUMA架构吗访问本地连接的内存要比访问远程内存快一些嘛所以我们制定了内存亲和性策略嘛线程在哪个NUMA节点执行就把内存分配到哪个节点直接连接的内存想着这样能提升性能嘛”小李继续委屈的说到。“那也不能死脑筋啊访问远程内存虽然比不上访问本地内存快那也比一个劲的把页面从内存和硬盘上换来换去的强啊你真是好心办坏事”被我们这样一说小李也意识到了这样做的问题“我回去反馈一下大家的意见调整一下我们的策略”过了几天操作系统那边上了新的内存分配策略将内存均匀的分配到各个NUMA节点我们再也不用坑次坑次的把数据从内存和硬盘之间搬来搬去了。NUMA虽好可要是用得不好只会徒增烦恼啊~彩蛋Linux帝国最近又来了一家公司发布了一项工程招标。“听说了吗我们厂居然没中标”“怎么可能除了我们还有谁干这活”“听说是一家叫GPU的工厂”预知后事如何请关注后续精彩······推荐阅读
浅谈分布式存储中的网络通信138 张图带你 MySQL 入门如何在 Kubernetes 上配置 Jenkins突发印度封禁抖音、微信、快手等 59 款中国 App厉害国内大学生计算机编程第一人一人挑战一个队百度最年轻 T10现创业自动驾驶Balancer因通缩代币STA遭遇闪电贷攻击价值50万美元资产被黑浅谈分布式存储中的网络通信真香朕在看了
