简介面向毕业设计、课程设计与项目开发场景这套基于Python与Faster R-CNN的PCB元器件缺陷检测资源提供了从源码、开发文档到项目解析的完整方案。源码经过严格测试既可在VOC0712数据集上完成训练、评估与预测也支持按VOC格式转换自己的PCB数据集进行迁移扩展适合目标检测入门及工业质检应用参考。资源包共79个文件压缩后约214KB以35个Python脚本、39个pyc编译文件为主另有2个Markdown文档、TXT说明与License脚本覆盖VOC标注生成、数据增强、先验框聚类、模型训练、预测及mAP评估等关键模块文档则补充项目结构和常见问题说明。目前已有379人学习下载可直接基于源码开展二次开发或毕设实验。1. 用 Faster-RCNN 做 PCB 元器件缺陷检测先立一个不踩坑的预期PCB 质检是电子制造里最依赖「老师傅眼力」的环节AOI 设备买回来不等于缺陷能自动检出来。做毕设或者课程设计时选 Faster-RCNN 而不是 YOLO不是因为 Faster-RCNN 更高级而是因为 PCB 板上的焊点、丝印、引脚在图像里占比太小两阶段检测器的区域提议网络对这种小目标天然更友好。这套方案大概需要三样东西一批标注好的 PCB 板图、一台带 NVIDIA 显卡的机器没有也能跑只是慢后面会讲替代以及一个能忍受调试的训练心态。这篇笔记会从选型逻辑、数据准备、训练参数到部署脚本把整个流程捋一遍。适合两类人一类是拿这个题目做毕业设计需要完整的工程文档兜底另一类是课程项目里被要求「跑通一个检测模型」但不想只调库交差的。你不需要懂检测器内部的数学推导但需要理解锚框、特征图、损失函数这几个词在 PCB 缺陷场景里到底意味着什么。下面直接进入正题。2. 为什么是 Faster-RCNN 而不是 YOLO选型逻辑与检测流程拆解2.1 RPN 的锚框设计如何匹配小尺寸焊点缺陷选检测器之前先看清楚自己要检的目标长什么样。PCB 板上常见的缺陷类型大致分几类短路相邻焊盘粘连、缺口焊盘边缘缺损、少锡焊点锡量不足、偏位元件引脚与焊盘错位、异物污染。这几类缺陷的共同特点是尺寸小——在常见的 1920x1080 或更高分辨率的板卡图像里一个焊盘缺陷可能只有 20x30 像素占整张图不到 0.03%。YOLO 系列走的是单阶段路线直接在特征图上回归类别和边框速度快但对密集小目标容易丢。Faster-RCNN 多了一个 RPNRegion Proposal Network阶段先在特征图上滑窗生成约 2000 个候选框再对候选框做二次分类和回归。这个「先粗筛、再精修」的机制对小目标的意义在于候选框覆盖阶段利用的是高分辨率特征图的原始位置信息不会像单阶段检测器那样在特征金字塔下采样过程中把 20 像素的小缺陷直接抹平。锚框的参数设置直接决定小目标召回率。Faster-RCNN 默认的锚框尺寸是 128、256、512 像素PCB 场景下必须改小。常见做法是把锚框尺寸改为 8、16、32、64长宽比保持默认的 1:1、1:2、2:1 之外再补一个 1:1.5因为焊盘通常是竖直或水平矩形。# 在 faster_rcnn_config.py 中修改锚框参数 def get_anchor_config(): # 针对PCB元器件缺陷场景锚框尺寸按实际焊盘像素大小缩放 anchor_scales [8, 16, 32, 64] # 默认是[128, 256, 512] anchor_ratios [0.5, 1.0, 2.0, 1.5] # 增加1.5应对竖直焊盘 return anchor_scales, anchor_ratios这段代码的作用是告诉 RPN 在特征图的每个位置生成多大、多宽的候选框。锚框尺寸改小意味着 RPN 对微小焊盘缺陷更敏感但副作用是候选框数量增加、训练显存占用上升。如果显卡只有 6GB 显存锚框数量需要相应减少后面训练章节会讲具体参数配比。2.2 基于 ResNet50 骨干的特征提取与 ROI Align 对齐骨干网络选择上Faster-RCNN 的常见搭配是 VGG16 或 ResNet50。PCB 缺陷检测场景推荐 ResNet50原因有两个一是残差结构在浅层特征保留上更好焊盘边缘的细微缺损不会在一层层卷积后彻底丢失二是 ResNet50 比 VGG16 参数少约 30%训练更快更适合毕设周期。特征图分辨率是另一个关键点。Faster-RCNN 的骨干网络通常做 32 倍下采样一张 1920x1080 的输入图到最后特征图只有 60x33 像素一个 20 像素的焊盘缺陷在这个分辨率下还不到 1 个像素。解决思路是使用特征金字塔FPN结构把浅层的高分辨率特征和深层的语义特征融合。如果你的 Faster-RCNN 实现不支持 FPN有一个折中方案把输入图像切成 512x512 的 patch 分别检测相当于人为放大目标尺寸。ROI Align 是另一个不能跳过的细节。早期 Fast R-CNN 用的 ROI Pooling 有两次量化取整会让小目标的边框定位偏移几个像素这对 PCB 缺陷检测是致命的——一个焊盘缺口可能就偏移没了。ROI Align 用双线性插值替代取整保留浮点坐标的梯度回传是保证小目标定位精度的前提。选代码库时优先找带 ROI Align 的实现PyTorch 官方 torchvision 里的 FasterRCNNResNet50Fpn 默认就是 ROI Align不用自己改。2.3 从标注到 TFRecord数据转换脚本与格式说明标注格式是整个流程里最容易翻车的环节。目标检测数据集的常见格式有 Pascal VOCXML 文件和 COCOJSON 文件以及 YOLO 的 TXT 格式。Faster-RCNN 的多数开源实现支持 VOC 格式建议手里的数据统一转成 VOC因为后期换模型、换框架时转换成本最低。标注内容需要覆盖的字段类别名short、open、insufficient、misalignment、contamination、目标边框坐标、图像文件名、图像宽高。坐标必须是像素绝对值不能用归一化后的相对值因为 VOC 格式要求绝对坐标。下面这段代码是把标注好的 VOC XML 转成 TFRecord 的骨架适用于 TensorFlow Object Detection API 的 Faster-RCNN 训练流程import tensorflow as tf def build_tf_example(image_path, xml_annotations): 将单张图片的VOC标注转换为TFRecord样本 xml_annotations: list of dict, 每个dict包含 {class_name: str, xmin: int, ymin: int, xmax: int, ymax: int} with tf.io.gfile.GFile(image_path, rb) as f: encoded_jpg f.read() # 类别名转整数ID0保留给背景类 class_ids [class_name_to_id(a[class_name]) for a in xml_annotations] # TFRecord要求所有特征明确指定类型坐标转float32 feature { image/encoded: tf.train.Feature( bytes_listtf.train.BytesList(value[encoded_jpg])), image/height: tf.train.Feature( int64_listtf.train.Int64List(value[1080])), image/width: tf.train.Feature( int64_listtf.train.Int64List(value[1920])), image/object/class/label: tf.train.Feature( int64_listtf.train.Int64List(valueclass_ids)), image/object/bbox/xmin: tf.train.Feature( float_listtf.train.FloatList(value[a[xmin] for a in xml_annotations])), image/object/bbox/ymin: tf.train.Feature( float_listtf.train.FloatList(value[a[ymin] for a in xml_annotations])), image/object/bbox/xmax: tf.train.Feature( float_listtf.train.FloatList(value[a[xmax] for a in xml_annotations])), image/object/bbox/ymax: tf.train.Feature( float_listtf.train.FloatList(value[a[ymax] for a in xml_annotations])), } return tf.train.Example(featurestf.train.Features(featurefeature))这段代码的重点有两个一是class_ids从 1 开始编号0 留给背景类漏了这一步训练时类别数会多算一个二是 bbox 坐标全部用 float 类型有些转换脚本用 int 会导致小目标的坐标精度丢失。如果你的标注里出现了 xmin 大于 xmax 这种值转换前要做一次校验否则训练时 loss 会直接变成 NaN。3. 用 Python 把训练跑通数据集划分、参数设置与效率对比3.1 数据集划分策略按板分不按图分很多人在划分训练集和测试集时直接随机切分图片这在 PCB 缺陷场景是个隐藏的坑。同一块 PCB 板的不同角度图、不同光照图在特征上高度相似如果同一块板的图片同时出现在训练集和测试集验证结果会虚高到了真实产线上换一块新板子检测性能立刻打回原形。正确的做法是按板划分先把所有图像按照所属的 PCB 板编号分组然后按板组来切分。比如 200 块板、每板 10 张图按板划分后训练集是 160 块板的 1600 张图测试集是剩余 40 块板的 400 张图。这样才能验证模型是否学到了「缺陷本身的样子」而不是「某块板的纹理」。import os import random from collections import defaultdict def split_by_board(image_dir, train_ratio0.8): 按PCB板编号划分数据集避免同一块板的图片同时出现在训练和测试集 image_dir下文件命名建议: board_001_capture_01.jpg, board_001_capture_02.jpg board_map defaultdict(list) for fname in os.listdir(image_dir): board_id fname.split(_capture_)[0] # 取板号 board_map[board_id].append(fname) board_ids list(board_map.keys()) random.shuffle(board_ids) split_idx int(len(board_ids) * train_ratio) train_boards set(board_ids[:split_idx]) train_files, val_files [], [] for board_id, files in board_map.items(): if board_id in train_boards: train_files.extend(files) else: val_files.extend(files) return train_files, val_files看起来是简单的划分逻辑但实际项目里很多人的标注文件命名不规整板号提取逻辑要跟标注时的命名规则统一。从项目开始就按board_id_capture_id.jpg的规则重命名图片后面所有环节都会省事。如果是直接从 AOI 设备导出的图片文件名通常是设备自动生成的编号里面没有板号信息需要找一个懂产线的人帮忙对照设备日志补上板号这个工作最好在标注之前做不然返工成本很高。3.2 数据增强的取舍哪些操作会毁掉 PCB 缺陷样本PCB 缺陷检测的数据增强策略和通用目标检测不一样。通用检测里常用的随机裁剪、随机旋转 90 度在 PCB 场景直接套用会制造大量矛盾样本——焊盘的方向是固定的元器件在板上的位置是固定的把图片旋转 90 度模型会学到「焊盘可以是任意方向的」到了真实板上反而认不准。我一般保留的增强操作只有几种水平翻转PCB 板镜像对称性较强这个操作是安全的、轻微亮度扰动模拟 AOI 设备不同批次的光照差异、高斯模糊模拟镜头失焦。裁剪增强不要用因为 PCB 缺陷目标本身太小随机裁剪很容易把目标裁掉一半制造出大量含残缺目标的负样本。import imgaug.augmenters as iaa def get_pcb_augmenter(): 针对PCB元器件缺陷设计的增强策略 - 水平翻转利用PCB布局的左右对称性 - 亮度扰动模拟AOI设备光照波动 - 高斯模糊模拟轻微失焦 注意不启用旋转和裁剪避免制造方向错乱的伪样本 aug iaa.Sequential([ iaa.Fliplr(0.5), # 50%概率水平翻转 iaa.Multiply((0.8, 1.2)), # 亮度缩放0.8~1.2倍 iaa.GaussianBlur(sigma(0.0, 0.8)), # 轻微高斯模糊 ]) return aug增强参数里最关键的是亮度缩放范围。PCB 板面本身是深绿色的焊盘是亮铜色缺陷区域比如短路往往是一小块亮色区域连到了不该连的地方。亮度扰动范围超过 0.8~1.2 之后焊盘和基板的对比度会被破坏模型学到的是「颜色差」而不是「形状结构差」泛化能力反而下降。3.3 训练启动命令与八个必调参数数据准备好之后训练阶段的核心工作就是参数调优。下面以 TensorFlow Object Detection API 的 Faster-RCNN 配置为例给出一个能跑通的参数模板然后逐个说明该调什么。python train.py \ --logtostderr \ --pipeline_config_pathpipeline_faster_rcnn.config \ --train_dirtraining_output/ # 训练完成后导出推理图 python export_inference_graph.py \ --input_typeimage_tensor \ --pipeline_config_pathpipeline_faster_rcnn.config \ --trained_checkpoint_prefixtraining_output/model.ckpt-50000 \ --output_directoryexported_graph/第一个命令启动训练第二个命令把训练好的 checkpoint 导出为 frozen inference graph用于之后的推理部署。这条命令里的model.ckpt-50000指的是第 5 万步保存的权重具体步数由你的训练计划决定。pipeline 配置文件里这几个参数是最关键的:参数名推荐值说明batch_size8显存不够就降到 4但学习率也要相应调低learning_rate0.0003用预训练权重时从 0.0003 起步不收敛再降一半num_steps50000先跑 5 万步看 loss 曲线不收敛再续训anchor_generator.scales[8,16,32,64]必须改默认值是给通用目标设计的first_stage_max_proposals1000显存紧张时降到 512second_stage_batch_size64ROI 精修阶段的样本数小目标多时不能低于 32loss_scale1.0训练溢出时改成 2.0 或 4.0warmup_steps500前 500 步学习率从 0 线性升到设定值需要特别强调的是learning_rate和学习率衰减策略。Faster-RCNN 在 PCB 这类小数据集上很容易过拟合常见做法是训练到 4 万步时把学习率降为原来的 1/10让损失在小范围内精细震荡找到更优解。TensorFlow 的配置里对应learning_rate_schedule参数PyTorch 实现则用torch.optim.lr_scheduler.StepLR设置step_size40000、gamma0.1。3.4 CPU 机器怎么跑没有 GPU 的备用方案不少课程设计的环境没有 NVIDIA 显卡Faster-RCNN 在 CPU 上训练 1000 张图耗时是按天计算的基本不可行。这里给出三个梯度的解决方案。第一梯队用 Google Colab 的免费 GPUV100 或 T4 训练 5000 步大约 40 分钟。注意 Colab 的免费版有 12 小时断线限制训练脚本要支持断点续训每 1000 步保存一次 checkpoint 是必须的。注意使用免费版前需要确认网络环境可以访问 Google 服务部分地区存在访问限制。第二梯队用云 GPU 服务器按小时计费的那类。注册账号后创建一个带 GPU 的实例把数据和代码传上去训练。这类方案没有免费额度但比本地 CPU 跑快 50 倍以上。选择实例时注意看显存型号8GB 显存选 T4 性价比最高16GB 显存可以选 P100 或 V100。第三梯队是最后的退路不用 Faster-RCNN换成更轻量的 SSD-MobileNet在 CPU 上训练时间可以缩短到几小时。这不是放弃检测精度而是承认算力边界毕设评分看重的是你对检测原理的理解和实验过程的可信度不是模型排行榜上的 mAP 分数。换模型的代码改动量也不大TensorFlow Object Detection API 支持两个模型共用一个训练流程。4. 训练与推理阶段的高频问题排查现象、原因、解决4.1 现象Loss 震荡不收敛但测试集上检测效果还行训练到 1 万步之后发现 loss 曲线上下浮动但整体不下降看起来像是没收敛。然而把当前 checkpoint 导出来跑测试集检测效果居然能接受。这个「互相矛盾」的现象其实很好解释loss 曲线不降是因为训练集里混入了几张标注错误的图模型每遇到一次错标注就产生一次大 loss 反弹。排查方式把训练集的 loss 按图片维度统计出来找到 loss 特别高的那几张图逐张打开看标注框与目标实际位置是否吻合。常见的标注错误包括焊盘缺口只框了一半、类别标签标反、以及把两个相邻缺陷框成了一个大框。修正标注后重新训练loss 会在 1 万步内回到正常下降区间。这个「先查数据再调网络」的顺序就是调模型的纪律性。4.2 现象置信度阈值调低后误检激增背景区域被当成缺陷把置信度阈值从 0.5 下调到 0.3 之后测试图上出现了大量白色小方框集中在板面丝印字符、二维码附近。原因是下载的预训练权重是在 COCO 数据集上训练的包含 80 类日常物体迁移到 PCB 场景时模型特征分布差异大背景区域在特征空间里离某些缺陷类别更近。解决方法分两步。第一步是确认训练时冻结了哪些层——很多 Faster-RCNN 实现默认冻结前两层骨干网络只训练高层和检测头。对于域迁移很大的任务比如从自然图像到 PCB 板卡图像冻结层数越少越好改成只冻结第一个卷积层让高层权重完全适配新数据域。第二步是给负样本加权重在配置文件的 loss 参数里调高背景类的损失权重让模型更谨慎地预测前景目标。4.3 现象小而密集的焊点缺陷全部漏检模型对正常焊点毫无反应推理时模型对图像里的大块元器件比如芯片、连接器能正确识别但小焊盘的缺陷完全没反应。这个现象是典型的锚框和目标尺寸不匹配。锚框最小尺寸是 8 像素但焊盘缺陷的实际尺寸可能更小或者落在了相邻锚框的间隙里。另外检查一下输入图像的分辨率处理逻辑。Faster-RCNN 的训练和推理通常会把输入 resize 到固定尺寸常见配置是 600x600 或 1024x1024。如果你的原始图是 1920x1080直接 resize 到 600x600相当于把目标缩小到原来的一半本来就只有 20 像素的缺陷变成了 10 像素RPN 自然找不到。解决方式把image_resizer改成keep_aspect_ratio_resizer让长边保持 1333、短边保底 600这样原图按比例缩放小目标不会过度缩小。4.4 现象训练过程中显存溢出batch_size 调到 1 还是炸显存溢出最直接的原因不是 batch_size而是输入图像的分辨率。Faster-RCNN 在训练阶段需要存储 RPN 阶段的所有候选框特征图输入分辨率每翻一倍显存占用约变为 4 倍。把输入 resize 的长边从 1333 降到 1024显存占用能降到原来的一半以下。降低first_stage_max_proposals数量也是一个有效手段。从默认的 2000 降到 1000显存占用减少约 30%对小目标漏检的影响并不大因为钉在小目标上的锚框通常排在前 1000 个候选框里。还有一招是开启混合精度训练NVIDIA 显卡在 TensorFlow 里设置--use_fp16True或者在 PyTorch 里用torch.cuda.amp显存占用直接减半代价是精度损失控制在 0.1% 以内。4.5 现象模型能检测缺陷但边框偏移严重包裹不住完整缺陷区域边框定位不准在 Faster-RCNN 里通常是 ROI Align 的采样点设置问题。sampling_ratio采样率太低时小目标的边框回归精度会恶化。默认采样率是 2对于 PCB 焊盘这种高对比度小目标适当提高到 4 会改善边界对齐。如果边框系统性偏移全部偏左上或全部偏右下则要检查标注坐标的格式——VOC 的 xmax、ymax 是否是「包含边界」的像素坐标有些标注工具导出时边界含 1 像素偏差统一调整即可。5. 把训练好的模型变成能用的检测工具推理脚本与量化控制模型训练完成后最常见的错误是用训练代码跑推理。训练代码里有数据增强、随机采样、dropout 这些训练专用逻辑直接推理会导致结果不稳定。正确做法是用 tensorflow 的export_inference_graph.py或 PyTorch 的model.eval()导出固定权重再写一个干净的检测脚本调模型。推理脚本的核心逻辑只有三步读取图像、前向推理、后在框上叠加类别和置信度。下面是一个可直接运行的推理模板import cv2 import numpy as np import tensorflow as tf def run_inference(image_path, threshold0.5): 加载训练好的Faster-RCNN模型对单张PCB板图像做缺陷检测 threshold: 置信度阈值生产环境建议0.7课程验证用0.5 # 加载frozen graph detection_graph tf.Graph() with detection_graph.as_default(): od_graph_def tf.compat.v1.GraphDef() with tf.io.gfile.GFile(exported_graph/frozen_inference_graph.pb, rb) as f: od_graph_def.ParseFromString(f.read()) tf.import_graph_def(od_graph_def, name) with detection_graph.as_default(): with tf.compat.v1.Session(graphdetection_graph) as sess: # 从图中取输入输出张量 image_tensor detection_graph.get_tensor_by_name(image_tensor:0) boxes_tensor detection_graph.get_tensor_by_name(detection_boxes:0) scores_tensor detection_graph.get_tensor_by_name(detection_scores:0) classes_tensor detection_graph.get_tensor_by_name(detection_classes:0) num_detections detection_graph.get_tensor_by_name(num_detections:0) # 读取并resize图像到模型期望尺寸 image cv2.imread(image_path) image_rgb cv2.cvtColor(image, cv2.COLOR_BGR2RGB) image_resized cv2.resize(image_rgb, (1024, 1024)) image_expanded np.expand_dims(image_resized, axis0) # 前向推理 (boxes, scores, classes, num) sess.run( [boxes_tensor, scores_tensor, classes_tensor, num_detections], feed_dict{image_tensor: image_expanded}) # 按置信度过滤并输出结果 results [] for i in range(int(num[0])): if scores[0][i] threshold: ymin, xmin, ymax, xmax boxes[0][i] results.append({ class_id: int(classes[0][i]), score: float(scores[0][i]), bbox: [xmin * 1024, ymin * 1024, xmax * 1024, ymax * 1024] }) return results这段代码有两个容易出错的地方。第一个是图像 resize 的尺寸必须和训练配置里的image_resizer完全一致训练用长边 1333 推理却 resize 成 1024x1024检测精度会明显下降。第二个是输出的归一化坐标要乘回原图尺寸这里的 1024 是 resize 后的分辨率不是原始图的 1920x1080。如果不想手动算回原图坐标可以在推理前记录原始图尺寸输出时直接换算。置信度阈值的控制逻辑值得展开课程验证场景下建议阈值设在 0.5能展示模型「找得到」缺陷的能力如果要模拟真实产线质检阈值要拉到 0.7 以上宁可漏检也不能让误检框太多——真实质检流程里误检框会触发复检机制带来的人力消耗比漏检更让人头疼。最后分享一个贯穿项目全程的习惯每训练一轮就把测试集里模型预测错的图片单独存到一个文件夹按错误类型建子目录漏检、误检、定位偏移。不要只看 mAP 数字把图片翻出来,真正搞清楚模型错在哪。我见过太多人训练一轮模型后急着调参从头到尾没看过一张预测结果图最后答辩被老师问「你的模型为什么会犯这个错」时答不上来。先看错例再动手调参这个顺序是唯一的正路。希望这份笔记能帮你在 PCB 缺陷检测上少走几个月的弯路。本文还有配套的精品资源点击获取
