我可以在多处理池Starmap方法中传递队列对象吗

Can I pass queue object in multiprocessing pool starmap method(我可以在多处理池Starmap方法中传递队列对象吗)
本文介绍了我可以在多处理池Starmap方法中传递队列对象吗的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

关于在python多处理池的starmap方法中传递多个参数,在SO中有很多问题。但我想问的是,我是否可以在方法中发送一个可以在不同进程之间共享的队列对象?

我可以使用线程和多进程方法完成此操作,但不能使用Pool的星图方法。

from multiprocessing import Process, Queue, Pool


def get_data(pageNo,q):
    q.put(pageNo*pageNo)


if __name__ == "__main__":
    q = Queue()
    p = {}
    no_pages = 5
    pool_tuple = [(x,q) for x in range(1,no_pages)]
    with Pool(processes=3) as pool:
        pool.starmap(get_data, pool_tuple)

我想要的是我应该能够将来自不同进程的结果放入队列。 我收到的错误是:队列对象应仅在进程之间通过继承共享

我传递队列对象的方式是否做错了什么?既然进程支持这一点,那么Pool方法也应该能够。

推荐答案

尝试这样使用Manager()

from multiprocessing import Manager, Pool


def get_data(pageNo, q):
    q.put(pageNo * pageNo)


if __name__ == "__main__":
    m = Manager()
    q = m.Queue()
    p = {}
    no_pages = 5
    pool_tuple = [(x, q) for x in range(1, no_pages)]
    with Pool(processes=3) as pool:
        pool.starmap(get_data, pool_tuple)
    for i in range(1, no_pages):
        print("result", i, ":", q.get())

输出:

result 1 : 1
result 2 : 4
result 3 : 9
result 4 : 16

这篇关于我可以在多处理池Starmap方法中传递队列对象吗的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Leetcode 234: Palindrome LinkedList(Leetcode 234:回文链接列表)
How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
subprocess.Popen tries to write to nonexistent pipe(子进程。打开尝试写入不存在的管道)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
Reading stdout from a subprocess in real time(实时读取子进程中的标准输出)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)