尝试训练YOLOv5对象检测模型时,页面文件太小,无法完成此操作

#39;Paging file too small for this operation to complete#39; Error when attempting to train YOLOv5 object detection model(尝试训练YOLOv5对象检测模型时,页面文件太小,无法完成此操作)
本文介绍了尝试训练YOLOv5对象检测模型时,页面文件太小,无法完成此操作的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我有大约50000个图像和注释文件,用于训练YOLOv5对象检测模型。我已经训练了一个模型,在另一台计算机上使用CPU没有问题,但它需要太长时间,所以我需要GPU培训。我的问题是,当我尝试使用GPU进行训练时,我总是收到这个错误:

OSError: [WinError 1455] The paging file is too small for this operation to complete

这是我正在执行的命令:

train.py --img 640 --batch 4 --epochs 100 --data myyaml.yaml --weights yolov5l.pt

CUDA和PyTorch已成功安装并可用。已安装以下命令,并且没有错误:

pip3 install torch==1.10.0+cu113 torchvision==0.11.1+cu113 torchaudio===0.10.0+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html

我发现其他人在网上遇到了类似的问题,并已通过将num_workers = 8更改为num_workers = 1修复了该问题。当我尝试这样做时,培训开始了,似乎超过了出现the paging file is too small错误的时间点,但几个小时后就崩溃了。我还根据这个视频(https://www.youtube.com/watch?v=Oh6dga-Oy10)增加了我的GPU上可用的虚拟内存,但也不起作用。我认为这是内存问题,因为有时它崩溃时,我的计算机会发出内存不足警告。

如有任何帮助,将不胜感激。

推荐答案

所以我已经设法解决了我的特定问题,并认为在此处发布答案可能会对其他人有所帮助。基本上,我不认为我有足够的内存。我以前使用的是8 GB,现在已经升级到32 GB,运行正常。

正如我在上面的问题中所写的,我认为这是一个内存问题,我让它只在另一台使用CPU的计算机上工作。我还注意到,当培训开始时,RAM使用率出现了峰值。这个人还解释了在大数据集上训练深度学习模型时RAM的重要性: https://timdettmers.com/2018/12/16/deep-learning-hardware-guide/

希望这能帮助其他人解决同样的问题。

这篇关于尝试训练YOLOv5对象检测模型时,页面文件太小,无法完成此操作的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Leetcode 234: Palindrome LinkedList(Leetcode 234:回文链接列表)
How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
subprocess.Popen tries to write to nonexistent pipe(子进程。打开尝试写入不存在的管道)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
Reading stdout from a subprocess in real time(实时读取子进程中的标准输出)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)