Joblib.在Windows上挂起的Spyder中并行运行

joblib.Parallel running through spyder hanging on Windows(Joblib.在Windows上挂起的Spyder中并行运行)
本文介绍了Joblib.在Windows上挂起的Spyder中并行运行的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我工作时在Windows Server 2013上运行的是Python3.5.1。我有一些令人尴尬的并行任务,它们似乎可以用基本相同的代码在Python2.7上运行,但我不知道如何让它在Python3.5.1上运行。

我使用的是蟒蛇2.4.1

代码如下...我已经把它减到了最低限度。


->main.py
apackage
->__init__.py
->amodule.py

main.py

的代码
from tpackage import AClass

def go():
    x = AClass().AFunction()
    return x
if __name__ == '__main__':
    x = go()
    print(x)

__init__.py

的代码
from .amodule import AClass

__all__ = ['AClass']

amodule.py的代码

from joblib import Parallel, delayed

class AClass(object):
    def AFunction(self):
        x = Parallel(n_jobs=2,verbose=100)(
            delayed(add1)(i) for i in range(10)
            )
        return x

def add1(x):   
    return x + 1

这是否与if __name__ == '__main__':语句的需要有关?我认为我不需要它,因为Parallel已经在def语句中受到保护,应该只在调用__main__模块时运行,而这应该只发生一次。

我应该补充一点,如果我在amodule.py中更改n_jobs=1,一切都会正常工作。

更新:

因此,经过进一步审查,似乎这可能与Spyder有关。我使用的是Spyder 2.3.8。当我让Spyder执行这是一个专用窗口时,它可以工作。但当它在交互式IPython控制台中运行时,它会失败。我也可以直接从命令行运行程序,没有问题。

更新2:

进一步查看后,这确实与IPython位于与*.py文件不同的工作目录有关。把它们排好,这就管用了。

推荐答案

(Spyder dev此处)如果此问题是由runfile设置工作目录引起的,您可以转到菜单项

来防止这种情况发生
Run > Configuration per file

(或按Ctrl+F6)并选择名为当前工作目录的选项。

备注

  1. 为每个文件保存运行配置,Spyder在重新启动后会记住它。
  2. Spyder3.2及更高版本的答案已更新。

这篇关于Joblib.在Windows上挂起的Spyder中并行运行的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Leetcode 234: Palindrome LinkedList(Leetcode 234:回文链接列表)
How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
subprocess.Popen tries to write to nonexistent pipe(子进程。打开尝试写入不存在的管道)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
Reading stdout from a subprocess in real time(实时读取子进程中的标准输出)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)