本文介绍了Daskmap_Partitions(pd.Cut、bins)实际上会对整个数据帧进行操作吗？的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我需要在DaskDataFrame上使用pd.Cut。
This answer指示map_artitions将通过将pd.Cut作为函数传递来工作。
似乎map_artitions一次只将一个分区传递给该函数。但是，pd.Cut需要访问我的df的整个列才能创建回收站。因此，我的问题是：这种情况下的map_Partitions实际上是对整个数据帧进行操作，还是使用这种方法会得到不正确的结果？
推荐答案
在您的问题中，您正确地指出了为什么应该明确提供垃圾箱。
通过指定准确的仓切(基于某些计算或外部推理)，您可以确保DASK所做的操作在不同分区之间具有可比性。
# this does not guarantee comparable cuts
ddf['a'].map_partitions(pd.cut)
# this ensures the cuts are as per the specified bins
ddf['a'].map_partitions(pd.cut, bins)
如果您想要自动生成bin，一种方法是获取感兴趣列的最小/最大值并使用np.linspace：
# note that computation is needed to give
# actual (not delayed) values to np.linspace
bmin, bmax = dask.compute(ddf['a'].min(), ddf['a'].max)
# specify the number of desired cuts here
bins = np.linspace(bmin, bmax, num=123)
这篇关于Daskmap_Partitions(pd.Cut、bins)实际上会对整个数据帧进行操作吗？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！