本文介绍了具有多进程.Pool的实例方法的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
在使用实例方法作为func参数时，我一直在使用Pool对象。关于实例状态，这有点令人惊讶。似乎每个块上的实例都会被重置。例如：
import multiprocessing as mp
import logging
class Worker(object):
def __init__(self):
self.consumed = set()
def consume(self, i):
if i not in self.consumed:
logging.info(i)
self.consumed.add(i)
if __name__ == '__main__':
n = 1
logging.basicConfig(level='INFO', format='%(process)d: %(message)s')
worker = Worker()
with mp.Pool(processes=2) as pool:
pool.map(worker.consume, [1] * 100, chunksize=n)
n设置为1，则每次都会记录1。如果n设置为20，则记录5次，依此类推。这是什么原因，有什么方法可以避免吗？我还想将initializer池参数用于实例方法，但遇到了类似的问题。
推荐答案
实例方法worker.consume被传递到队列上的工作进程。要做到这一点，必须对其进行腌制。对于每个作业，都会收到相同的PICLE字符串，但在取消该字符串的PICKLE时会创建一个新的实例。您可以看到这里发生的事情的要点，而不需要任何多进程：
In [1]: import pickle
In [2]: class Thing:
...: def __init__(self):
...: self.called = 0
...: def whoami(self):
...: self.called += 1
...: print("{} called {} times".format(self, self.called))
In [3]: pickled = pickle.dumps(Thing().whoami)
In [4]: pickle.loads(pickled)()
<__main__.Thing object at 0x10a636898> called 1 times
In [5]: pickle.loads(pickled)()
<__main__.Thing object at 0x10a6c6550> called 1 times
In [6]: pickle.loads(pickled)()
<__main__.Thing object at 0x10a6bd940> called 1 times
每个Thing实例的ID不同，并且每个实例都有自己的called属性。
这篇关于具有多进程.Pool的实例方法的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！