本文介绍了任务坚持行为不一致的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
如果我注释掉此行,我发现DaskPersistent有奇怪的行为
# client = Client(memory_limit='20GB',n_workers=1) # Connect to distributed cluster and override default
并执行
dd_feature_009a013a_normalized_noneedshift = dd_feature_009a013a_normalized_noneedshift.head(1000000,compute=False).persist()
持久化按预期运行..计算并存储在内存中,使我能够即时访问结果 但是,如果我取消注释
client = Client(memory_limit='20GB',n_workers=1) # Connect to distributed cluster and override default
然后
dd_feature_009a013a_normalized_noneedshift = dd_feature_009a013a_normalized_noneedshift.head(1000000,compute=False).persist()
dd_feature_009a013a_normalized_noneedshift = client.persist(dd_feature_009a013a_normalized_noneedshift)
没有做任何事情。惰性数据帧立即返回...当我打开client = Client(memory_limit='20GB',n_workers=1)
时,我应该做什么才能实现相同的行为?
推荐答案
当我们使用client.persist
持久化一个对象时,我们会返回一个引用计算结果的未来。计算后,结果将存储在一个或多个工作器上,视情况而定。在现有的未来上运行client.persist
将返回另一个未来...因此引用另一个计算可能是不必要的。
要获得未来的结果,可以对未来本身运行.result()
。这将阻止进一步的命令,直到计算出未来并返回结果。
这篇关于任务坚持行为不一致的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!