本文介绍了DASK计算非常慢的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我有一个由500万条记录组成的数据帧。我正在尝试使用下面的代码来处理它，方法是利用Python中的DaskDataFrame
import dask.dataframe as dd
dask_df = dd.read_csv(fullPath)
............
for index , row in uniqueURLs.iterrows():
print(index);
results = dask_df[dask_df['URL'] == row['URL']]
count = results.size.compute();
但我注意到DASK在过滤数据帧方面非常有效，但在.Compute()中却不是这样。因此，如果我删除了计算结果大小的行，我的程序就会变得非常快。有没有人能解释一下这个？我如何才能使它更快？
推荐答案
您误解了但我注意到DASK在过滤数据帧方面非常高效，但是 不在.Compute()中。
dask.dataframe的工作方式。行results = dask_df[dask_df['URL'] == row['URL']]不对数据集执行不计算。它只存储可在以后触发的计算指令。
所有计算仅应用于行count = results.size.compute()。这完全在意料之中，因为dask运行缓慢。
考虑一个生成器和一个可以耗尽生成器的函数，例如list。生成器本身是惰性的，但在被函数调用时会触发操作。dask.dataframe也很懒，但通过形成一条内部的顺序操作"链"来灵巧地工作。
有关详细信息，请参阅文档中的Laziness and Computing。
这篇关于DASK计算非常慢的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！