本文介绍了如何在DaskDataFrame中创建唯一索引？的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
假设我有来自read_csv的DaskDataFrame或以其他方式创建的DataFrame。
如何为DaskDataFrame创建唯一索引？
注意：
reset_index在每个分区中构建单调升序索引。这意味着(0，1，2，3，4，5，...)对于分区1，
(0，1，2，3，4，5，...)对于分区2，(0，1，2，3，4，5，...)分区3，依此类推。
我希望数据帧中的每一行(跨所有分区)都有唯一索引。
推荐答案
这是我使用MAP_PARTITIONS和真正的随机数构建唯一索引的方法(函数)，因为简单的RESET_INDEX会在每个分区中创建一个单调升序索引！
import sys
import random
from dask.distributed import Client
client = Client()
def createDDF_u_idx(ddf):
def create_u_idx(df):
rng = random.SystemRandom()
p_id = str(rng.randint(0, sys.maxsize))
df['idx'] = [p_id + 'a' + str(x) for x in range(df.index.size)]
return df
cols_meta = {c: str(ddf[c].dtype) for c in ddf.columns}
ddf = ddf.map_partitions(lambda df: create_u_idx(df), meta={**cols_meta, 'idx': 'str'})
ddf = client.persist(ddf) # compute up to here, keep results in memory
ddf = ddf.set_index('idx')
return ddf
这篇关于如何在DaskDataFrame中创建唯一索引？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！