本文介绍了为什么这个多处理代码比串行码慢？的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我在集群计算设施上尝试了以下Python程序，既有顺序版本，也有并行版本。我可以清楚地看到(使用top命令)为并行程序启动的更多进程。但当我给它计时时，似乎并行版本花了更多的时间。可能的原因是什么？随函附上代码和计时信息。
#parallel.py
from multiprocessing import Pool
import numpy
def sqrt(x):
return numpy.sqrt(x)
pool = Pool()
results = pool.map(sqrt, range(100000), chunksize=10)
#seq.py
import numpy
def sqrt(x):
return numpy.sqrt(x)
results = [sqrt(x) for x in range(100000)]
user@domain$ time python parallel.py > parallel.txt
real 0m1.323s
user 0m2.238s
sys 0m0.243s
user@domain$ time python seq.py > seq.txt
real 0m0.348s
user 0m0.324s
sys 0m0.024s
推荐答案
到目前为止，每个任务的工作量太少，无法补偿工作分配开销。首先，您应该增加chunksize，但是单个平方根操作仍然太短，不足以补偿在进程之间传输数据的成本。您可以看到如下所示的有效加速：
def sqrt(x):
for _ in range(100):
x = numpy.sqrt(x)
return x
results = pool.map(sqrt, range(10000), chunksize=100)
这篇关于为什么这个多处理代码比串行码慢？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！