在多处理中共享列表列表

Share the list of lists in multiprocessing(在多处理中共享列表列表)
本文介绍了在多处理中共享列表列表的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我想提高代码的效率。我的代码的一个重要部分是将元素追加到列表列表中。基本上,我想做一些事情,

import multiprocessing
import time
def update_val(L, i):  
    L.append(i**2)
    return L

if __name__ == "__main__":
    N = 1000000
    x_reg = [list(range(10)) for i in range(N)]
    y_reg = [list(range(10)) for i in range(N)]
    z_reg = [list(range(10)) for i in range(N)]   
    "Regular Call"
    start = time.time()
    [x_reg[i].append(i**2)  for i in range(N)]
    stat_reg =time.time() - start

    "Multiprocessing"
    num_cores = multiprocessing.cpu_count() # equals 4 in my case
    pool = multiprocessing.Pool(num_cores)
    start = time.time()
    y_reg = pool.starmap(update_val,[(y_reg[i],i) for i in range(N)])
    pool.close()
    pool.join()
    stat_val =time.time() - start


    print("Regular: %g "%(stat_reg))
    print("Mult.: %g "%(stat_val))

输出为:

Regular: 0.387984 
Mult.: 2.54244 

我认为原因与多处理的工作方式有关;它需要复制原始列表、做人员并返回它。在我的例子中,这应该是多处理非常慢的主要原因。 我的问题是: 1-在进程之间共享z_reg时,我应该如何执行与z_reg相同的功能? 2-它是否提高了性能。 3-还有其他想法如何将某些内容附加到z_reg中的每个子列表吗?

推荐答案

我建议您使用multiprocessing.Queue。将列表保存在主进程中,并通过队列发送来自所有子进程的数据。

这篇关于在多处理中共享列表列表的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Leetcode 234: Palindrome LinkedList(Leetcode 234:回文链接列表)
How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
subprocess.Popen tries to write to nonexistent pipe(子进程。打开尝试写入不存在的管道)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
Reading stdout from a subprocess in real time(实时读取子进程中的标准输出)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)