本文介绍了非常慢的麻木或操作的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我正在对大型数据集执行OR操作,该数据集是一个数值dtype数组对象。
下面的代码是外部for循环的一部分,该循环遍历15列,并检查这些列中是否有用户名可用,如果可用,则标记这些行以供进一步操作。
mask= mask | (np_array[:,col_index[f"COL_{col_number}"]] == username)
MASK=与NP_ARRAY长度相同的Numpy一维数组
NP_ARRAY=Numpy dtype ndarray对象
此行代码占用了我全部代码时间的60%以上。
有什么方法可以改进/优化上述代码性能吗?
谢谢, LIVA
推荐答案
alist = [(np_array[:,col_index[f"COL_{col_number}"]] == username) for col_number in range(columns)]
这应该是所有colnumber测试的列表
mask = np.logical_or.reduce(alist)
应or
将它们放在一起。性能应该比重复的or
更好。但如果alist
构建是最慢的一步,我也不会感到惊讶。
但没有可运行的示例,我无法测试或计时。
这篇关于非常慢的麻木或操作的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!