知道网站域名怎么联系,怎么创建自己的公司网站,网站不在首页显示出来吗,浙江网站建设排名#x1f680; 优质资源分享 #x1f680;
学习路线指引#xff08;点击解锁#xff09;知识定位人群定位#x1f9e1; Python实战微信订餐小程序 #x1f9e1;进阶级本课程是python flask微信小程序的完美结合#xff0c;从项目搭建到腾讯云部署上线#xff0c;打造一… 优质资源分享
学习路线指引点击解锁知识定位人群定位 Python实战微信订餐小程序 进阶级本课程是python flask微信小程序的完美结合从项目搭建到腾讯云部署上线打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统本文示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介
我们在日常使用Python进行各种数据计算处理任务时若想要获得明显的计算加速效果最简单明了的方式就是想办法将默认运行在单个进程上的任务扩展到使用多进程或多线程的方式执行。
而对于我们这些从事数据分析工作的人员而言以最简单的方式实现等价的加速运算的效果尤为重要从而避免将时间过多花费在编写程序上。而今天的文章费老师我就来带大家学习如何利用joblib这个非常简单易用的库中的相关功能来快速实现并行计算加速效果。 2 使用joblib进行并行计算
作为一个被广泛使用的第三方Python库譬如scikit-learn项框架中就大量使用joblib进行众多机器学习算法的并行加速我们可以使用pip install joblib对其进行安装安装完成后下面我们来学习一下joblib中有关并行运算的常用方法
2.1 使用Parallel与delayed进行并行加速
joblib中实现并行计算只需要使用到其Parallel和delayed方法即可使用起来非常简单方便下面我们直接以一个小例子来演示
joblib实现并行运算的思想是将一组通过循环产生的串行计算子任务以多进程或多线程的方式进行调度而我们针对自定义的运算任务需要做的仅仅是将它们封装为函数的形式即可譬如
Copyimport timedef task\_demo1():time.sleep(1)return time.time()
接着只需要像下面的形式一样为Parallel()设置相关参数后衔接循环创建子任务的列表推导过程其中利用delayed()包裹自定义任务函数再衔接()传递任务函数所需的参数即可其中n_jobs参数用于设置并行任务同时执行的worker数量因此在这个例子中可以看到进度条是按照4个一组递增的可以看到最终时间开销也达到了并行加速效果 其中可以根据计算任务以及机器CPU核心数具体情况为Parallel()调节参数核心参数有
backend用于设置并行方式其中多进程方式有loky更稳定和multiprocessing两种可选项多线程有threading一种选项。默认为lokyn_jobs用于设置并行任务同时执行的worker数量当并行方式为多进程时n_jobs最多可设置为机器CPU逻辑核心数量超出亦等价于开启全部核心你也可以设置为-1来快捷开启全部逻辑核心若你不希望全部CPU资源均被并行任务占用则可以设置更小的负数来保留适当的空闲核心譬如设置为-2则开启全部核心-1个核心设置为-3则开启全部核心-2个核心
譬如下面的例子在我这台逻辑核心数为8的机器上保留两个核心进行并行计算 关于并行方式的选择上由于Python中多线程时全局解释器锁的限制如果你的任务是计算密集型则推荐使用默认的多进程方式加速如果你的任务是IO密集型譬如文件读写、网络请求等则多线程是更好的方式且可以将n_jobs设置的很大举个简单的例子可以看到通过多线程并行我们在5秒的时间里完成了1000次请求远快于单线程17秒请求100次的成绩 你可以根据自己实际任务的不同好好利用joblib来加速你的日常工作。 以上就是本文的全部内容欢迎在评论区与我进行讨论~
