本文介绍了如何在连续循环中使用PYTHON多处理池的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我正在使用python多处理库来执行Selify脚本。我的代码如下：
#-- start and join multiple threads ---
thread_list = []
total_threads=10 #-- no of parallel threads
for i in range(total_threads):
t = Process(target=get_browser_and_start, args=[url,nlp,pixel])
thread_list.append(t)
print "starting thread..."
t.start()
for t in thread_list:
print "joining existing thread..."
t.join()
根据我对join()函数的理解，它将等待每个进程完成。但我希望流程一发布，就会被分配另一项任务来执行新功能。
可以这样理解：
假设第一个实例中启动了8个进程。
no_of_tasks_to_perform = 100
for i in range(no_of_tasks_to_perform):
processes start(8)
if process no 2 finished executing, start new process
maintain 8 process at any point of time till
"i" is <= no_of_tasks_to_perform
推荐答案
与其时不时地启动新的进程，不如尝试将所有任务放到一个multiprocessing.Queue()中，并启动8个长时间运行的进程，在每个进程中不断访问任务队列以获取新任务，然后执行作业，直到不再有任务。
在您的情况下，更像是这样：
from multiprocessing import Queue, Process
def worker(queue):
while not queue.empty():
task = queue.get()
# now start to work on your task
get_browser_and_start(url,nlp,pixel) # url, nlp, pixel can be unpacked from task
def main():
queue = Queue()
# Now put tasks into queue
no_of_tasks_to_perform = 100
for i in range(no_of_tasks_to_perform):
queue.put([url, nlp, pixel, ...])
# Now start all processes
process = Process(target=worker, args=(queue, ))
process.start()
...
process.join()
这篇关于如何在连续循环中使用PYTHON多处理池的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！