非常慢的麻木或操作

Very slow numpy OR operation(非常慢的麻木或操作)
本文介绍了非常慢的麻木或操作的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在对大型数据集执行OR操作,该数据集是一个数值dtype数组对象。

下面的代码是外部for循环的一部分,该循环遍历15列,并检查这些列中是否有用户名可用,如果可用,则标记这些行以供进一步操作。

mask= mask | (np_array[:,col_index[f"COL_{col_number}"]] == username)
MASK=与NP_ARRAY长度相同的Numpy一维数组 NP_ARRAY=Numpy dtype ndarray对象

此行代码占用了我全部代码时间的60%以上。

有什么方法可以改进/优化上述代码性能吗?

谢谢, LIVA

推荐答案

alist = [(np_array[:,col_index[f"COL_{col_number}"]] == username) for col_number in range(columns)]

这应该是所有colnumber测试的列表

mask = np.logical_or.reduce(alist)

or将它们放在一起。性能应该比重复的or更好。但如果alist构建是最慢的一步,我也不会感到惊讶。

但没有可运行的示例,我无法测试或计时。

这篇关于非常慢的麻木或操作的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)
Elementwise multiplication of several arrays in Python Numpy(几个数组在Python Numpy中的元素乘法)
cannot use geometry manager pack inside . which already has slaves managed by grid(无法在内部使用几何管理器包。它已经拥有由网格管理的从属对象)
Is there any way to quot;extractquot; the dtype conversion functionality from pandas read_csv?(有没有办法从 pandas Read_CSV中提取数据类型转换功能?)
Getting the last element of a level in a multiindex(获取多索引中某个级别的最后一个元素)