yolov5训练高精度非机动车驾驶检测

序言

使用yolov5训练非机动车驾驶状态的模型，检测内容为驾驶非机动车的人和车一体，单独的人或者单独的非机动车不检测，示例如下图所示：

一、数据准备

因为网上的数据集，包括coco数据集等，均没有将驾驶状态的非机动车做标注，通常都是独立的人、非机动车目标，所以这里需要重新收集数据再进行重新标注，该示例训练数据集由自己收集、标注，标注内容包括三个类：电动车（摩托车也包含在内）、三轮车、自行车；数据大部分来源于网上的监控视角（主要做监控检测），数据量5000+张，目标框标注超过20000+，数据经过精心筛选，非常适合监控下的非机动车驾驶检测，示例如下所示：

数据标注情况:

• all gt : 20246 (所有目标)
• bicycle gt: 5951 (自行车)
• electric gt: 13819 (电动车or摩托)
• tricycle gt: 476 (三轮车)

相关数据集和代码提供百度云，需要的朋友可自行下载。

链接：https://pan.baidu.com/s/1k-f61kiOiMA8yf-tqgV4GA?pwd=28hw
提取码：28hw

二、yolov5训练

这里默认已经配置好了yolov5运行所需要的环境；

首先准备一个文件夹，文件夹中内容如下，记住该文件夹绝对路径：

• Annotations 为xml标注文件
• images 存放训练图片
• ImageSets 用于存放划分的train、test、val txt文件
• labels 用于存放yolo格式标签

首先第一步划分数据集，使用如下代码：

import os
import randomtrainval_percent = 0.1
train_percent = 0.9
xmlfilepath = '上面的文件夹路径/Annotations'
txtsavepath = '上面的文件夹路径/images'
total_xml = os.listdir(xmlfilepath)num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)ftrainval = open('上面的文件夹路径/ImageSets/trainval.txt', 'w')
ftest = open('上面的文件夹路径/ImageSets/test.txt', 'w')
ftrain = open('上面的文件夹路径/ImageSets/train.txt', 'w')
fval = open('上面的文件夹路径/ImageSets/val.txt', 'w')for i in list:name = total_xml[i][:-4] + '\\n'if i in trainval:ftrainval.write(name)if i in train:ftest.write(name)else:fval.write(name)else:ftrain.write(name)ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

第二步将xml转换yolo格式，使用如下代码：

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import joinsets = ['train', 'test', 'val']classes = ['electric','bicycle','tricycle']              #  3类标注文件def convert(size, box):dw = 1. / size[0]dh = 1. / size[1]x = (box[0] + box[1]) / 2.0y = (box[2] + box[3]) / 2.0w = box[1] - box[0]h = box[3] - box[2]x = x * dww = w * dwy = y * dhh = h * dhreturn (x, y, w, h)def convert_annotation(image_id):in_file = open('上面的文件夹路径/Annotations/%s.xml' % (image_id),encoding='UTF-8')# print(in_file)out_file = open('上面的文件夹路径/labels/%s.txt' % (image_id), 'w')tree = ET.parse(in_file)root = tree.getroot()size = root.find('size')w = int(size.find('width').text)h = int(size.find('height').text)for obj in root.iter('object'):difficult = obj.find('difficult').textcls = obj.find('name').textif cls not in classes or int(difficult) == 1:continuecls_id = classes.index(cls)xmlbox = obj.find('bndbox')b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),float(xmlbox.find('ymax').text))bb = convert((w, h), b)out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\\n')wd = getcwd()
print(wd)
for image_set in sets:if not os.path.exists('上面的文件夹路径/labels/'):os.makedirs('上面的文件夹路径/labels/')image_ids = open('上面的文件夹路径/ImageSets/%s.txt' % (image_set)).read().strip().split()list_file = open('上面的文件夹路径/%s.txt' % (image_set), 'w')for image_id in image_ids:# print(image_id)list_file.write('上面的文件夹路径/images/%s.jpg\\n' % (image_id))try:convert_annotation(image_id)except:print(image_id)list_file.close()

第三步在yolov5/data中创建一个Nonvehicle.yaml文件，文件内容如下：

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
# COCO 2017 dataset http://cocodataset.org by Microsoft
# Example usage: python train.py --data coco.yaml
# parent
# ├── yolov5
# └── data
#     └── chopsticks  ← downloads here# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: 上面文件夹的路径/  # dataset root dir
train: train.txt  # train ImageSets (relative to 'path') 118287 ImageSets
val: val.txt  # val ImageSets (relative to 'path') 5000 ImageSets
test: test.txt  # 20288 of 40670 ImageSets, submit to https://competitions.codalab.org/competitions/20794# Classes
nc: 3  # number of classes
names:  ['electric','bicycle','tricycle']  # class names

第四步在models中创建yolov5s_nonvehicle.yaml文件（当然你也可以用其他模型，n、m、l等），并将文件中类别数改为3，其他不用修改。

第五步开始训练，运行以下代码：

python train.py --data Nonvehicle.yaml --cfg yolov5s_nonvehicle.yaml --weights weights/yolov5s.pt --batch-size 16 --epochs 100

训练结束后的精度参考如下所示：

因为训练数据中含有很多小目标，所以map精度并没有特别的高，这个不必纠结，主要还是看可视化效果，这里拿一张比较经典的图来做测试，取conf_thres=0.5 ，iou_thres=0.4，效果如下：

原图：

检测效果：

可以看到效果还是很不错的，基本上没有漏检，因为图片上没有自行车和三轮车，所以再找了一张图片测试：

原图：

检测效果：

后面的目标实在太小了，所以没检测到，还是可以理解的，可以看到效果还是很不错的。

附：

yolov8n训练结果：

yolov8s训练结果：