网站维护一般都是维护什么,网站的设计与开发的图片,搭建网站要什么显卡,设计软件有几种要让Python程序实现多进程(multiprocessing)#xff0c;我们先了解操作系统的相关知识。Unix/Linux操作系统提供了一个fork()系统调用#xff0c;它非常特殊。普通的函数调用#xff0c;调用一次#xff0c;返回一次#xff0c;但是fork()调用一次#xff0c;返回两次我们先了解操作系统的相关知识。Unix/Linux操作系统提供了一个fork()系统调用它非常特殊。普通的函数调用调用一次返回一次但是fork()调用一次返回两次因为操作系统自动把当前进程(称为父进程)复制了一份(称为子进程)然后分别在父进程和子进程内返回。子进程永远返回0而父进程返回子进程的ID。这样做的理由是一个父进程可以fork出很多子进程所以父进程要记下每个子进程的ID而子进程只需要调用getppid()就可以拿到父进程的ID。Python的os模块封装了常见的系统调用其中就包括fork可以在Python程序中轻松创建子进程import osprint(Process (%s) start... % os.getpid())# Only works on Unix/Linux/Mac:pid os.fork()if pid 0:print(I am child process (%s) and my parent is %s. % (os.getpid(), os.getppid()))else:print(I (%s) just created a child process (%s). % (os.getpid(), pid))运行结果如下Process (876) start...I (876) just created a child process (877).I am child process (877) and my parent is 876.由于Windows没有fork调用上面的代码在Windows上无法运行。而Mac系统是基于BSD(Unix的一种)内核所以在Mac下运行是没有问题的推荐大家用Mac学Python有了fork调用一个进程在接到新任务时就可以复制出一个子进程来处理新任务常见的Apache服务器就是由父进程监听端口每当有新的http请求时就fork出子进程来处理新的http请求。multiprocessing如果你打算编写多进程的服务程序Unix/Linux无疑是正确的选择。由于Windows没有fork调用难道在Windows上无法用Python编写多进程的程序由于Python是跨平台的自然也应该提供一个跨平台的多进程支持。multiprocessing模块就是跨平台版本的多进程模块。multiprocessing模块提供了一个Process类来代表一个进程对象下面的例子演示了启动一个子进程并等待其结束from multiprocessing import Processimport os# 子进程要执行的代码def run_proc(name):print(Run child process %s (%s)... % (name, os.getpid()))if __name____main__:print(Parent process %s. % os.getpid())p Process(targetrun_proc, args(test,))print(Child process will start.)p.start()p.join()print(Child process end.)执行结果如下Parent process 928.Child process will start.Run child process test (929)...Process end.创建子进程时只需要传入一个执行函数和函数的参数创建一个Process实例用start()方法启动这样创建进程比fork()还要简单。join()方法可以等待子进程结束后再继续往下运行通常用于进程间的同步。Pool如果要启动大量的子进程可以用进程池的方式批量创建子进程from multiprocessing import Poolimport os, time, randomdef long_time_task(name):print(Run task %s (%s)... % (name, os.getpid()))start time.time()time.sleep(random.random() * 3)end time.time()print(Task %s runs %0.2f seconds. % (name, (end - start)))if __name____main__:print(Parent process %s. % os.getpid())p Pool(4)for i in range(5):p.apply_async(long_time_task, args(i,))print(Waiting for all subprocesses done...)p.close()p.join()print(All subprocesses done.)执行结果如下Parent process 669.Waiting for all subprocesses done...Run task 0 (671)...Run task 1 (672)...Run task 2 (673)...Run task 3 (674)...Task 2 runs 0.14 seconds.Run task 4 (673)...Task 1 runs 0.27 seconds.Task 3 runs 0.86 seconds.Task 0 runs 1.41 seconds.Task 4 runs 1.91 seconds.All subprocesses done.代码解读对Pool对象调用join()方法会等待所有子进程执行完毕调用join()之前必须先调用close()调用close()之后就不能继续添加新的Process了。请注意输出的结果task 0123是立刻执行的而task 4要等待前面某个task完成后才执行这是因为Pool的默认大小在我的电脑上是4因此最多同时执行4个进程。这是Pool有意设计的限制并不是操作系统的限制。如果改成p Pool(5)就可以同时跑5个进程。由于Pool的默认大小是CPU的核数如果你不幸拥有8核CPU你要提交至少9个子进程才能看到上面的等待效果。子进程很多时候子进程并不是自身而是一个外部进程。我们创建了子进程后还需要控制子进程的输入和输出。subprocess模块可以让我们非常方便地启动一个子进程然后控制其输入和输出。下面的例子演示了如何在Python代码中运行命令nslookup www.python.org这和命令行直接运行的效果是一样的import subprocessprint($ nslookup www.python.org)r subprocess.call([nslookup, www.python.org])print(Exit code:, r)运行结果$ nslookup www.python.orgServer:192.168.19.4Address:192.168.19.4#53Non-authoritative answer:www.python.orgcanonical name python.map.fastly.net.Name:python.map.fastly.netAddress: 199.27.79.223Exit code: 0如果子进程还需要输入则可以通过communicate()方法输入import subprocessprint($ nslookup)p subprocess.Popen([nslookup], stdinsubprocess.PIPE, stdoutsubprocess.PIPE, stderrsubprocess.PIPE)output, err p.communicate(bset qmx\npython.org\nexit\n)print(output.decode(utf-8))print(Exit code:, p.returncode)上面的代码相当于在命令行执行命令nslookup然后手动输入set qmxpython.orgexit运行结果如下$ nslookupServer:192.168.19.4Address:192.168.19.4#53Non-authoritative answer:python.orgmail exchanger 50 mail.python.org.Authoritative answers can be found from:mail.python.orginternet address 82.94.164.166mail.python.orghas AAAA address 2001:888:2000:d::a6Exit code: 0进程间通信Process之间肯定是需要通信的操作系统提供了很多机制来实现进程间的通信。Python的multiprocessing模块包装了底层的机制提供了Queue、Pipes等多种方式来交换数据。我们以Queue为例在父进程中创建两个子进程一个往Queue里写数据一个从Queue里读数据from multiprocessing import Process, Queueimport os, time, random# 写数据进程执行的代码:def write(q):print(Process to write: %s % os.getpid())for value in [A, B, C]:print(Put %s to queue... % value)q.put(value)time.sleep(random.random())# 读数据进程执行的代码:def read(q):print(Process to read: %s % os.getpid())while True:value q.get(True)print(Get %s from queue. % value)if __name____main__:# 父进程创建Queue并传给各个子进程q Queue()pw Process(targetwrite, args(q,))pr Process(targetread, args(q,))# 启动子进程pw写入:pw.start()# 启动子进程pr读取:pr.start()# 等待pw结束:pw.join()# pr进程里是死循环无法等待其结束只能强行终止:pr.terminate()运行结果如下Process to write: 50563Put A to queue...Process to read: 50564Get A from queue.Put B to queue...Get B from queue.Put C to queue...Get C from queue.在Unix/Linux下multiprocessing模块封装了fork()调用使我们不需要关注fork()的细节。由于Windows没有fork调用因此multiprocessing需要“模拟”出fork的效果父进程所有Python对象都必须通过pickle序列化再传到子进程去所以如果multiprocessing在Windows下调用失败了要先考虑是不是pickle失败了。小结在Unix/Linux下可以使用fork()调用实现多进程。要实现跨平台的多进程可以使用multiprocessing模块。进程间通信是通过Queue、Pipes等实现的。
