任务坚持行为不一致

dask persist behavior inconsistent(任务坚持行为不一致)
本文介绍了任务坚持行为不一致的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

如果我注释掉此行,我发现DaskPersistent有奇怪的行为

# client = Client(memory_limit='20GB',n_workers=1)  # Connect to distributed cluster and override default

并执行

dd_feature_009a013a_normalized_noneedshift = dd_feature_009a013a_normalized_noneedshift.head(1000000,compute=False).persist()

持久化按预期运行..计算并存储在内存中,使我能够即时访问结果 但是,如果我取消注释

client = Client(memory_limit='20GB',n_workers=1)  # Connect to distributed cluster and override default

然后

dd_feature_009a013a_normalized_noneedshift = dd_feature_009a013a_normalized_noneedshift.head(1000000,compute=False).persist()
dd_feature_009a013a_normalized_noneedshift = client.persist(dd_feature_009a013a_normalized_noneedshift)

没有做任何事情。惰性数据帧立即返回...当我打开client = Client(memory_limit='20GB',n_workers=1)时,我应该做什么才能实现相同的行为?

推荐答案

当我们使用client.persist持久化一个对象时,我们会返回一个引用计算结果的未来。计算后,结果将存储在一个或多个工作器上,视情况而定。在现有的未来上运行client.persist将返回另一个未来...因此引用另一个计算可能是不必要的。

要获得未来的结果,可以对未来本身运行.result()。这将阻止进一步的命令,直到计算出未来并返回结果。

这篇关于任务坚持行为不一致的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Leetcode 234: Palindrome LinkedList(Leetcode 234:回文链接列表)
How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
subprocess.Popen tries to write to nonexistent pipe(子进程。打开尝试写入不存在的管道)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
Reading stdout from a subprocess in real time(实时读取子进程中的标准输出)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)