哪些网站是动态页面,现在企业需要建设网站吗,网站建设会议通知,网站建设所需技术文章目录 #x1f680;#x1f680;#x1f680;前言一、1️⃣相关名词解释二、2️⃣论文中案例三、3️⃣新建相关文件夹四、4️⃣detect.py推理五、5️⃣开始可视化六、6️⃣可视化结果分析 #x1f440;#x1f389;#x1f4dc;系列文章目录
嘻嘻 暂时还没有~~~~
前言一、1️⃣相关名词解释二、2️⃣论文中案例三、3️⃣新建相关文件夹四、4️⃣detect.py推理五、5️⃣开始可视化六、6️⃣可视化结果分析 系列文章目录
嘻嘻 暂时还没有~~~~
前言
在目标检测过程中看F1置信度分数依旧map0.5或者AP、recall这些评估指标虽然可以很简单粗暴的看出模型训练的一个性能但是缺无法直观的看出究竟哪一点提升了然而这些品估指标都是通过TP、FP、FN进行计算的如果能够直观的看见哪些目标是TP、FP、FN那么在实验过程中就能知道自己改进的网络对哪些目标是有提升效果的。
所以这个文章将手把手带你如何可视化自己数据集中的TP、FP、FN帮助你更直观的感受自己网络究竟在哪些方面有提升 所使用的数据集图片是钢轨表面疵点。 一、1️⃣相关名词解释
在目标检测中TP真正例、FP假正例和FN假负例 的定义稍微复杂一些因为目标检测不仅要考虑分类是否正确还要考虑定位是否准确。以下是这些概念的解释和示例
1.真正例True PositivesTP指检测到的目标与实际目标之间的匹配。这意味着检测到的目标在位置和类别上都与实际目标匹配。 2.假正例False PositivesFP指模型错误地将负例非目标样本预测为正例目标。在目标检测中FP 是指检测到的目标与实际无目标区域之间的匹配。 3.假负例False NegativesFN指模型未能检测到实际存在的目标。在目标检测中FN 是指未检测到的实际目标。
举个例子 假设我们有一张图像其中包含一只猫和一只狗。我们的目标检测模型会尝试检测图像中的动物并且根据预测结果计算 TP、FP 和 FN。
TP真正例如果模型正确地检测到了图像中的猫和狗并且对它们进行了正确的分类和定位那么这就是一个 TP。FP假正例如果模型在图像中的某些区域错误地检测到了动物例如将一只猫误认为狗或者在图像中检测到了不存在的动物那么这就是一个 FP。FN假负例如果模型未能检测到图像中的某些动物例如漏掉了图像中的狗那么这就是一个 FN。 例如如果我们的模型在一张图像中正确检测到了一只猫和一只狗并且没有检测到不存在的动物那么 TP 2图像中的猫狗都被检测出来并且类别位置正确 FP 0模型未将不存在的动物检测为目标 FN 0模型未漏掉任何实际存在的目标 二、2️⃣论文中案例
下面这幅图是出之NWD这篇论文基于 IoU 的检测器第一行和基于 NWD 的检测器第二行的一些可视化结果使用NWD替换IOU之后对于小目标的检测精度提升了很多。(感兴趣的可以去我的目标检测论文专栏阅读)。其中绿色、蓝色和红色框分别表示真阳性TP、假阳性FP和假阴性FN预测。其中TP表示正确预测的结果FP是错检的结果FN是漏检的结果下面的实验可视化颜色也是遵循这种颜色分配
三、3️⃣新建相关文件夹
这里需要建立三个文件可以选择在你的yolov5项目文件中新建如下文件夹(千万不要把文件夹命名错了)。文件夹目录结构如下
image文件存储的是等下我们需要推理的照片label文件夹存储的是image文件夹里面所有图片的标注类别predict文件夹等下存储我们推理detect.py推理image图片后的标准信息。tricks_1.py文件我们的TP、FP、FN可视化代码代码如下
import os, cv2, tqdm, shutil
import numpy as npdef xywh2xyxy(box):box[:, 0] box[:, 0] - box[:, 2] / 2box[:, 1] box[:, 1] - box[:, 3] / 2box[:, 2] box[:, 0] box[:, 2]box[:, 3] box[:, 1] box[:, 3]return boxdef iou(box1, box2):x11, y11, x12, y12 np.split(box1, 4, axis1)x21, y21, x22, y22 np.split(box2, 4, axis1)xa np.maximum(x11, np.transpose(x21))xb np.minimum(x12, np.transpose(x22))ya np.maximum(y11, np.transpose(y21))yb np.minimum(y12, np.transpose(y22))area_inter np.maximum(0, (xb - xa 1)) * np.maximum(0, (yb - ya 1))area_1 (x12 - x11 1) * (y12 - y11 1)area_2 (x22 - x21 1) * (y22 - y21 1)area_union area_1 np.transpose(area_2) - area_interiou area_inter / area_unionreturn ioudef draw_box(img, box, color):cv2.rectangle(img, (int(box[0]), int(box[1])), (int(box[2]), int(box[3])), color, thickness2)return imgif __name__ __main__:postfix jpgimg_path imagelabel_path labelpredict_path predictsave_path visclasses [train, diningtable, person, bus, pottedplant, chair, cat, tvmonitor, motorbike, sofa, cow, bottle, aeroplane, dog, horse, car, boat, sheep, bicycle, bird]detect_color, missing_color, error_color (0, 255, 0), (0, 0, 255), (255, 0, 0)iou_threshold 0.45if os.path.exists(save_path):shutil.rmtree(save_path)os.makedirs(save_path, exist_okTrue)all_right_num, all_missing_num, all_error_num 0, 0, 0with open(result.txt, w) as f_w:for path in tqdm.tqdm(os.listdir(label_path)):image cv2.imread(f{img_path}/{path[:-4]}.{postfix})if image is None:print(fimage:{img_path}/{path[:-4]}.{postfix} not found., filef_w)h, w image.shape[:2]try:with open(f{predict_path}/{path}) as f:pred np.array(list(map(lambda x:np.array(x.strip().split(), dtypenp.float32), f.readlines())))pred[:, 1:5] xywh2xyxy(pred[:, 1:5])pred[:, [1, 3]] * wpred[:, [2, 4]] * hpred list(pred)except:pred []try:with open(f{label_path}/{path}) as f:label np.array(list(map(lambda x:np.array(x.strip().split(), dtypenp.float32), f.readlines())))label[:, 1:] xywh2xyxy(label[:, 1:])label[:, [1, 3]] * wlabel[:, [2, 4]] * hexcept:print(flabel path:{label_path}/{path} (not found or no target)., filef_w)right_num, missing_num, error_num 0, 0, 0label_id, pred_id list(range(label.shape[0])), [] if len(pred) 0 else list(range(len(pred)))for i in range(label.shape[0]):if len(pred) 0: breakious iou(label[i:i1, 1:], np.array(pred)[:, 1:5])[0]ious_argsort ious.argsort()[::-1]missing Truefor j in ious_argsort:if ious[j] iou_threshold: breakif label[i, 0] pred[j][0]:image draw_box(image, pred[j][1:5], detect_color)pred.pop(j)missing Falseright_num 1breakif missing:image draw_box(image, label[i][1:5], missing_color)missing_num 1if len(pred):for j in range(len(pred)):image draw_box(image, pred[j][1:5], error_color)error_num 1all_right_num, all_missing_num, all_error_num all_right_num right_num, all_missing_num missing_num, all_error_num error_numcv2.imwrite(f{save_path}/{path[:-4]}.{postfix}, image)print(fname:{path[:-4]} right:{right_num} missing:{missing_num} error:{error_num}, filef_w)print(fall_result: right:{all_right_num} missing:{all_missing_num} error:{all_error_num}, filef_w)
相关代码讲解
postfix推理文件夹的图片格式img_path需要推理图片所保存的文件夹路径label_path图片标注信息存储的路径predict_path使用detect.py推理后的txt标签信息存放位置save_path可视化之后的图片存储位置classes数据集类别名称detect_color, missing_color, error_color分别表示正确识别的物体框颜色(绿色)、漏检的物体标注框颜色(红色)、错误识别物体的标注框颜色(蓝色)iou_threshold预测值和标准信息之间的阈值判断。注意在detect.py中iou-thres, typefloat, default0.45也有个阈值0.45这个阈值是用来做NMS极大值计算的。
四、4️⃣detect.py推理
关于detect.py文件修改如下 运行detect.py文件之后会在run文件夹中生成推理出来的的标签文件其中每个推理文件都标注了预测类别、位置、以及置信度
五、5️⃣开始可视化
将推理生成的labels文件夹中的txt文件全部拷贝到我们刚刚自己新建的predict文件夹当中然后运行tricks_1.py代码会生成一个vis文件夹和一个result.txt文件其中vis就是可视化结果result.txt保存的就是每个图片物体目标right、missing、error的数量已经所有TP、FP、FN的总和。运行代码之后的文件夹目录如下 六、6️⃣可视化结果分析
其中绿色是预测正确的蓝色框表示类别预测错误的。红色表示该缺陷存在但是却没有预测出来。 在result.txt中存储的是每张图片TP、FP、FN的数量这里分析一下rolled-in_scale_5这个缺陷会发现预测正确的目标是一个、漏检的是一个、错误识别成其它类别的也是一个
我们在label文件中打开rolled-in_scale_5的标签信息发现只标注了两个疵点并且其中一个疵点的标注位置确实和预测出的位置不对。
