本文介绍了Python多处理。泳池在执行了很长时间后卡住了的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我正在开发一个分析大型文件的工具。为了更快地做到这一点，我在它上引入了多进程，一切似乎都很好。为了做到这一点，我使用了多进程.pool来创建N个线程，它们处理我之前创建的不同的工作块。
pool = Pool(processes=params.nthreads)
for chunk in chunk_list:
pool.apply_async(__parallel_quant, [filelist, chunk, outfilename])
pool.close()
pool.join()
如您所见，这是标准池执行，没有特殊用法。
最近，当我运行大量数据时，我发现了一个问题。标准的执行需要16个线程大约2个小时，但我有一个特例需要大约8个小时，因为它的文件量和大小都很大。
问题是，最近我发现当我执行这个案例时，执行一直运行得很好，直到完成，大多数孩子都正常地完成了，除了一个孩子被塞住了
<built-in method recv of _multiprocessing.Connection object at remote 0x3698db0>
由于此子进程未完成，因此父进程不会唤醒并停止执行。
只有在输入文件非常大时才会出现这种情况，所以我想知道是否有任何类型的默认超时会导致此问题。
我使用的是python2.7 多处理0.70a1
我的机器是Centos 7(32核，64 GB内存)
提前感谢您的帮助
乔迪
推荐答案
摘自多进程编程指南：
避免共享状态
As far as possible one should try to avoid shifting large amounts of data between processes.
如果您必须将文件处理拆分为多个进程，最好指示它们如何检索文件区块，而不是发送区块本身。
尝试将块偏移量和块大小传递给子进程。它可以使用Open()和Seek()从文件中检索块。您还会注意到性能提升和内存占用减少。这篇关于Python多处理。泳池在执行了很长时间后卡住了的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！