个人网站规划书,电子商务网站开发前景,高端网站建设 源码,南山制作网站公司文 | 郭忠明知乎最近在知乎上看到一个问题#xff0c;叫做“程序员有没有很厉害、不外传的代码”。好像在这个遍地都是开源项目的时代#xff0c;啥代码都藏不住。但其实#xff0c;是有的#xff0c;而且有不少#xff01;很多算法在没有公开前#xff0c;普通程序员都… 文 | 郭忠明知乎最近在知乎上看到一个问题叫做“程序员有没有很厉害、不外传的代码”。好像在这个遍地都是开源项目的时代啥代码都藏不住。但其实是有的而且有不少很多算法在没有公开前普通程序员都完全想不明白是怎么做到的。举个例子。80年代就有部分大神级程序员的代码中使用了乘一个magic数字然后移位实现实质代替除法的功能性能很快代码有效。普通程序员完全不理解这些代码的含义为啥这样写也能行。实质是除数被除数同时乘以一个2的N次方的数字那么结果不变被除数如果是一个常量那么两个常量相除就得到了magic, 计算时先乘以magic再移位就实现了高性能除法大约能够有一个数量级的性能提升。经过很多年后该技术就慢慢扩散开了成为不是秘密的秘密一些编译器内部集成了这些黑魔法。直到intel 九代cpu后该魔法才彻底在intel cpu上没用了intel cpu把除法从80个时钟周期压缩到了18个时钟周期。但是江湖上还流传一种新的除法算法大约比intel十代cpu快一倍我这边在做内存分配库的free内部计算offset/ref size per bit寻找bit定位时有用新除法算法的源代码只有三行非常简单有效。所以free 才那么快最小只有7ns, 要知道做一次除法就要18个时钟周期了那些快到不可思议的库不少背后是有各种秘密算法的黑科技加持。(注意: 有一些公开文章中的magic不能适配所有整数, 存在工程上的坑高手都是亲自写代码做全整数覆盖验证不会轻易乱用)。最近几年比较出名的黑魔法一个是wait free queue, 尤其是多生产者/多消费者队列做量化交易领域的部分高手会弄这个东西知乎上也见过有量化领域的人提到过具体的实现就一句话的原理。开源的都是最简单的spsc单生产者单消费者队列一些源码也有bug。写的内存分配库有用这个算法用于跨线程内存释放。最新版本16线程并发下主线程malloc 8字节1000万传给其它16个线程, 其它线程以生产者方式push到队列主线程以消费者方式pop出队列主线程free五个动作累计平均开销大约是26ns是堪称神器级别的多线程并发工具包有数千行源码只有很小的并发开销。在内存分配库的测试源码用例的最后有测试。总之最近两年写的内存分配库中已经把自己能够找到的黑魔法都用上了所以性能才会比google tcmalloc快一个数量级。尤其在高性能领域江湖上那些快到不可思议的库真的打开里面到处都是黑魔法一样的代码不少绕了一圈的算法如果不告诉你这些代码都是干什么用的基本很难理解原来如此。举一个例子写的内存分配库中由于是bitmap算法会大量使用移位操作但是源码中没有1N的移位用其它更快的算法代码替换掉了又是一堆的magic, 移位操作的性能提升了3倍原因在于intel cpu的内置移位操作单元不足而现代cpu都是多发射的导致现代cpu的多发射时移位操作和相关上下文的串行等待拖累性能表现。一直到intel cpu 12代cpu增加了一倍的移位操作单元(查一下最新改进的说明就明白)才算彻底解决了这个瓶颈。测试源码和内存分配库so文件在下面下载。https://gitee.com/wlmqgzm话说回来你们有那种私藏的黑科技代码吗欢迎在评论区分享后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集
