本文介绍了如何存储和加载海量图像数据集？的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我有一个很大的图像数据集要存储。我有30万张图片。每个图像都是一个28800像素的矢量，这意味着我有一个(300000, 28800)的矩阵
我将其存储如下
img_arr = np.stack(images, axis=0)
np.savetxt('pixels_dataset_large.csv',img_arr,delimiter=",")
但是加载它需要很长时间，有时l会出现内存错误：
data_pixels=np.genfromtxt("pixels_dataset_large.csv", delimiter=',')
是否有以最佳方式存储和加载它的替代方案？
推荐答案
如果您要将300,000 x 28,000个数据保存到csv，则假设您正在查看的输出文件大小略低于1 TB，具体取决于输出的精度。即使您有1 TB的磁盘空间，CSV在这种规模下的效率也令人难以置信。
在这种情况下，我建议使用某种二进制存储方案(例如，hdf5)。您可以查看xarray包：它非常适合处理这种大小的密集数组数据，它有一个非常类似于NumPy的API，它甚至利用Dask透明地支持并行和/或内存映射计算。这篇关于如何存储和加载海量图像数据集？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！