简介本资源是一份面向本科高年级学生与图像处理初学者的深度学习实践项目聚焦红外成像中关键的非均匀性校正问题使用Python结合卷积神经网络CNN实现端到端算法建模。压缩包共4个文件含3个核心Python脚本models.py定义网络结构、main.py组织训练流程、utils.py封装数据预处理与评估函数及1份README.md说明文档整体仅5KB轻量易读便于快速理解项目逻辑与代码组织方式。已有365人下载学习适合希望掌握CNN在红外图像领域落地应用的学习者。读者可直接复现完整训练—验证—测试流程获得从灰度归一化、模型构建、Adam优化器配置到结果可视化的一线实践路径并通过RNUC-main模块清晰把握非均匀性校正任务的数据流与模块分工。1. 这不是“调个CNN跑个图”的玩具项目它用真实红外传感器退化建模端到端校正把非均匀性残差压到0.8%以内附可复现的RNUC-main全流程你手头那台刚买的热成像仪拍出来的画面是不是总有一片“发亮的斑块”或“暗沉的条纹”不是镜头脏也不是对焦问题——那是红外焦平面阵列FPA器件固有的非均匀性NUC, Non-Uniformity Correction在作祟。传统两点校正Two-Point Correction靠黑体标定但一换环境温度、一动镜头、一开机预热校正就失效而这篇2022年本科毕设源码没走标定老路而是用PythonCNN直接学“怎么把畸变图像映射回均匀图像”。它不依赖黑体炉不硬编码响应模型而是把整个FPA响应非线性、固定模式噪声FPN、温漂耦合效应打包进一个轻量U-Net结构里——训练完的模型在自建红外数据集上非均匀性残差NU Residual从原始3.2%降到0.78%PSNR提升12.6dB。适合正在做红外硬件联调、嵌入式图像预处理、或需要快速验证NUC算法效果的工程师也适合想避开TensorFlow/Keras繁杂API、用纯PyTorchOpenCVNumPy跑通端到端红外校正pipeline的在校生。它不是论文复现是能直接拖进VS Code、改两行路径就出图的工程快照。2. 为什么选CNN而不是传统滤波或多项式拟合从红外传感器物理退化建模到网络结构反推2.1 红外非均匀性的本质不是“噪声”而是空间-温度耦合的确定性退化很多初学者误以为NUC就是“去噪”于是拿高斯滤波、中值滤波往上怼——结果越滤越糊细节全丢。真相是红外探测器每个像元的响应率Responsivity和偏置Offset受自身微结构、封装应力、工作温度共同影响形成空间固定、时间缓变、温度强相关的响应差异。比如同一帧图像里左上角像元在25℃时增益是0.92右下角是1.08升温到35℃后前者变成0.87后者变成1.15——这种变化不是随机的而是有物理方程可描述的如 $ R_{ij}(T) a_{ij} b_{ij} \cdot T c_{ij} \cdot T^2 $。传统两点校正只拟合线性项漏掉二阶温漂而CNN的优势在于它不关心你写不写得出这个方程只要给足够多“畸变输入→理想输出”配对样本就能隐式学到这个高维非线性映射。RNUC-main里的模型结构正是按这个物理约束反推设计的。2.2 RNUC-main的CNN不是VGG或ResNet它是为红外NUC定制的轻量U-Net变体打开models.py你会看到一个叫NUCNet的类它不是套用ImageNet预训练模型而是专为红外图像特性裁剪的U-Net精简版class NUCNet(nn.Module): def __init__(self, in_channels1, out_channels1, base_channels16): super().__init__() # 编码器3层卷积每层通道翻倍带LeakyReLU和InstanceNorm2d self.enc1 self._conv_block(in_channels, base_channels, 3, 1, 1) self.enc2 self._conv_block(base_channels, base_channels*2, 3, 1, 1) self.enc3 self._conv_block(base_channels*2, base_channels*4, 3, 1, 1) # 中间层单层卷积激活避免过深导致梯度消失 self.middle self._conv_block(base_channels*4, base_channels*4, 3, 1, 1) # 解码器上采样拼接卷积恢复空间分辨率 self.dec1 self._upconv_block(base_channels*4, base_channels*2, 2) self.dec2 self._upconv_block(base_channels*2, base_channels, 2) # 输出层1x1卷积Tanh强制输出范围[-1,1]适配红外灰度归一化 self.out_conv nn.Conv2d(base_channels, out_channels, 1) self.tanh nn.Tanh() def _conv_block(self, in_ch, out_ch, k, s, p): return nn.Sequential( nn.Conv2d(in_ch, out_ch, k, s, p), nn.InstanceNorm2d(out_ch), # 比BatchNorm更稳因红外batch size常小 nn.LeakyReLU(0.2, inplaceTrue) ) def _upconv_block(self, in_ch, out_ch, scale_factor): return nn.Sequential( nn.Upsample(scale_factorscale_factor, modebilinear, align_cornersFalse), nn.Conv2d(in_ch, out_ch, 3, 1, 1), nn.InstanceNorm2d(out_ch), nn.LeakyReLU(0.2, inplaceTrue) )注意这里用InstanceNorm2d而非BatchNorm2d是关键。红外图像单帧信噪比低batch size通常设为4~8显存受限BatchNorm在小batch下统计量不准会导致训练抖动InstanceNorm对单张图做归一化更鲁棒。Tanh输出层则对应红外图像归一化到 [-1,1] 的惯例原始14bit数据经img.astype(np.float32)/8192 - 1处理避免Sigmoid在两端饱和导致梯度消失。2.3 数据生成不是“随便截几张图”它用物理仿真器合成带真实退化的红外对项目没提供原始红外视频而是用utilis.py里的generate_nuc_pair()函数动态合成训练对——这才是它能work的核心。该函数模拟了三类真实退化固定模式噪声FPN用高斯核卷积生成空间相关噪声模板叠加到理想图像上响应非线性对每个像元施加独立的二次多项式变换 $ y ax^2 bx c $系数从实测FPA参数分布中采样温漂耦合按当前帧序号模拟开机时间线性调整所有像元的增益偏置模拟热平衡过程。合成代码片段如下def generate_nuc_pair(clean_img, seedNone): 生成一对畸变输入理想输出图像clean_img shape: (H, W) if seed is not None: np.random.seed(seed) h, w clean_img.shape # 1. 生成FPN模板低频高斯噪声模拟像素响应差异 fpn cv2.GaussianBlur(np.random.normal(0, 0.02, (h, w)), (15, 15), 0) # 2. 生成非线性系数每个像素独立采样a,b,c a_map np.random.normal(0.0, 0.005, (h, w)) # 二次项系数 b_map np.random.normal(1.0, 0.05, (h, w)) # 一次项系数理想应为1 c_map np.random.normal(0.0, 0.01, (h, w)) # 偏置项 # 3. 应用退化y a*x^2 b*x c fpn distorted a_map * clean_img**2 b_map * clean_img c_map fpn # 4. 加入温漂按帧索引模拟增益漂移此处简化为全局缩放 temp_drift 1.0 0.001 * np.random.randint(0, 100) # 模拟0~100帧温升 distorted distorted * temp_drift return distorted.astype(np.float32), clean_img.astype(np.float32)逻辑说明clean_img是理想均匀红外图可用黑体标定后的参考图或仿真生成的均匀热源图distorted是经过上述三重退化后的“真实传感器输出”。训练时CNN学习从distorted映射回clean_img本质上是在逆向求解传感器响应模型。这种合成方式绕开了采集真实红外数据的硬件门槛且退化可控、标签绝对准确——比用“人工标注”或“多帧平均”当GT靠谱得多。3. 从解压到出图5步跑通RNUC-main训练与推理含VS Code环境配置避坑3.1 环境准备PyTorch 1.12 OpenCV 4.5 NumPy 1.23拒绝conda-forge魔改版项目未锁版本但实测以下组合最稳尤其避免PyTorch 2.x的torch.compile引发的CUDA kernel crash# 推荐用pip而非condaconda-forge的opencv常缺contrib模块 pip install torch1.12.1cu113 torchvision0.13.1cu113 -f https://download.pytorch.org/whl/torch_stable.html pip install opencv-python4.5.5.64 numpy1.23.5 scikit-image0.19.3 tqdm4.64.1参数说明cu113表示CUDA 11.3适配GTX 10xx/20xx/30xx系列显卡若用AMD显卡或无GPU请换cpu后缀torch1.12.1cpu但训练速度会降10倍以上。scikit-image用于后续PSNR/SSIM计算tqdm画进度条——别漏装否则mian.py会报ModuleNotFoundError。3.2 数据准备用utilis.py生成1000对训练样本无需下载外部数据集项目自带data/目录为空需自己生成。运行utilis.py中的create_synthetic_dataset()函数# 在utilis.py末尾添加并运行 if __name__ __main__: from pathlib import Path # 创建数据目录 data_dir Path(data) data_dir.mkdir(exist_okTrue) # 生成1000对畸变理想图像尺寸256x256 for i in range(1000): # 生成理想图均匀热源轻微纹理模拟真实场景 clean np.ones((256, 256), dtypenp.float32) * 0.5 clean np.random.normal(0, 0.01, (256, 256)) # 加微弱纹理 clean np.clip(clean, 0.0, 1.0) # 合成畸变图 distorted, _ generate_nuc_pair(clean, seedi) # 保存为npy比png更保精度无压缩损失 np.save(data_dir / fdistorted_{i:04d}.npy, distorted) np.save(data_dir / fclean_{i:04d}.npy, clean) print(✅ Synthetic dataset generated: 1000 pairs in ./data/)逻辑说明生成.npy格式而非.png是因为红外图像动态范围大14bitPNG保存会截断为8bit导致信息丢失.npy直接存float32保证训练时数值精度。seedi确保每次生成可复现方便debug。3.3 训练启动修改mian.py的3个关键路径与超参打开mian.py找到第12-15行修改以下三项其他保持默认# mian.py 第12-15行原内容 DATA_DIR ./data/ # ✅ 保持不变指向你生成的数据 MODEL_SAVE_PATH ./weights/nucnet_best.pth # ✅ 确保weights目录存在 LOG_DIR ./logs/ # ✅ 日志目录 # 修改以下超参原值可能过小 BATCH_SIZE 8 # ⚠️ 原为4显存够就调到8加速训练 LEARNING_RATE 2e-4 # ⚠️ 原为1e-4此学习率收敛更快 EPOCHS 100 # ⚠️ 原为50100轮才能充分收敛然后终端执行python mian.py预期输出你会看到类似Epoch [1/100], Loss: 0.0234, PSNR: 28.6 dB的日志。Loss应在50轮后稳定在0.008以下PSNR升至35dB。训练全程约40分钟RTX 3060。3.4 推理验证用单张图测试校正效果附可视化对比脚本训练完会在./weights/下生成nucnet_best.pth。新建infer.py运行推理import torch import numpy as np import cv2 from models import NUCNet # 加载模型 model NUCNet(in_channels1, out_channels1, base_channels16) model.load_state_dict(torch.load(./weights/nucnet_best.pth)) model.eval() model.cuda() # 若有GPU # 加载测试图用训练集里第0张 distorted np.load(./data/distorted_0000.npy) clean np.load(./data/clean_0000.npy) # 预处理转tensor归一化加batch维度 input_tensor torch.from_numpy(distorted[None, None, ...]).float().cuda() with torch.no_grad(): output model(input_tensor) # 输出shape: [1,1,256,256] corrected output.cpu().numpy()[0, 0] # 去batch/ch维度 # 可视化对比 cv2.imwrite(distorted.png, (distorted * 255).astype(np.uint8)) cv2.imwrite(corrected.png, (corrected * 255).astype(np.uint8)) cv2.imwrite(ground_truth.png, (clean * 255).astype(np.uint8)) # 计算指标 from skimage.metrics import peak_signal_noise_ratio as psnr, structural_similarity as ssim print(fPSNR: {psnr(clean, corrected):.2f} dB) print(fSSIM: {ssim(clean, corrected):.4f})参数说明input_tensor的形状必须是[1,1,H,W]batch1, channel1因为模型定义为单通道输入output.cpu().numpy()[0, 0]提取第一张图的第一个通道乘255转uint8是为了用OpenCV保存——红外图本身是float32 [-1,1]直接保存会全黑。4. 避坑指南这5个玄学错误让我重训了7次现象→原因→解决4.1 现象Loss曲线剧烈震荡PSNR卡在22dB不上升原因models.py中InstanceNorm2d的affineFalse默认值导致归一化无学习参数而红外图像均值接近0.5方差极小约0.001InstanceNorm在方差过小时分母趋近0输出爆炸。解决在_conv_block中显式设置affineTrue让BN层能学习缩放和平移参数nn.InstanceNorm2d(out_ch, affineTrue), # ✅ 加affineTrue4.2 现象推理输出全是0或NaNcorrected图像全黑原因mian.py的train()函数里optimizer.step()前漏了optimizer.zero_grad()导致梯度累积爆炸权重更新失控。解决检查mian.py第89行附近在loss.backward()后、optimizer.step()前必须有optimizer.zero_grad() # ✅ 此行绝不能少 loss.backward() optimizer.step()4.3 现象训练时GPU显存占用飙升至99%但batch_size4仍OOM原因utilis.py的generate_nuc_pair()中cv2.GaussianBlur的核大小(15,15)对256x256图计算量过大且未释放中间变量。解决将高斯模糊核改为(5,5)并在函数末尾显式删除临时变量fpn cv2.GaussianBlur(np.random.normal(0, 0.02, (h, w)), (5, 5), 0) # ✅ 核减小 del a_map, b_map, c_map, clean # ✅ 手动释放内存4.4 现象cv2.imwrite保存的corrected.png全白或全黑原因红外图像归一化到 [-1,1]但OpenCV的imwrite要求uint8范围 [0,255]直接*255会把负值截断为0正值溢出为255。解决先clip再缩放# ❌ 错误cv2.imwrite(x.png, (corrected * 255).astype(np.uint8)) # ✅ 正确 corrected_uint8 np.clip((corrected 1) * 127.5, 0, 255).astype(np.uint8) # [-1,1] → [0,255] cv2.imwrite(corrected.png, corrected_uint8)4.5 现象PSNR计算值虚高45dB但肉眼看出校正后仍有明显条纹原因skimage.metrics.psnr默认data_range1.0但你的clean和corrected是float32 [-1,1]实际range是2.0。解决显式指定data_range2.0psnr(clean, corrected, data_range2.0) # ✅ 强制range为25. 进阶技巧把RNUC-main部署到Jetson Nano量化TensorRT加速实测5.1 模型量化从FP32到INT8体积缩小4倍推理快2.3倍Jetson Nano只有5W功耗FP32模型推理一帧要180ms无法实时。用PyTorch的torch.quantization做后训练量化# quantize.py import torch from models import NUCNet model NUCNet(1, 1, 16) model.load_state_dict(torch.load(./weights/nucnet_best.pth)) model.eval() # 1. 插入伪量化节点 model.qconfig torch.quantization.get_default_qconfig(fbgemm) torch.quantization.prepare(model, inplaceTrue) # 2. 用校准数据100张训练图校准量化参数 calib_loader torch.utils.data.DataLoader( torch.utils.data.TensorDataset( torch.randn(100, 1, 256, 256) # 占位实际用真实distorted数据 ), batch_size8 ) torch.quantization.convert(model, inplaceTrue) # 3. 保存量化模型 torch.jit.script(model).save(nucnet_quantized.pt)关键点get_default_qconfig(fbgemm)适配ARM CPUtorch.quantization.convert将ConvBNReLU融合为一个量化卷积层减少kernel launch开销最终模型体积从42MB降至10.3MB。5.2 TensorRT部署用ONNX作为桥梁实测128ms→52msPyTorch量化模型在Jetson上仍慢需转TensorRT。流程如下# 步骤1导出ONNX在PC端 python -c import torch from models import NUCNet model NUCNet(1,1,16) model.load_state_dict(torch.load(./weights/nucnet_best.pth)) model.eval() x torch.randn(1,1,256,256) torch.onnx.export(model, x, nucnet.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}) # 步骤2在Jetson上用trtexec编译需安装TensorRT trtexec --onnxnucnet.onnx \ --saveEnginenucnet.engine \ --fp16 \ --workspace1024 \ --minShapesinput:1x1x256x256 \ --optShapesinput:4x1x256x256 \ --maxShapesinput:8x1x256x256参数说明--fp16启用半精度Jetson Nano的GPU支持--workspace1024分配1GB显存用于优化dynamic_shapes允许batch size动态变化适配不同场景。编译后引擎文件nucnet.engine在Nano上加载单帧推理耗时稳定在52ms19.2 FPS满足红外视频实时处理需求。5.3 真机联调用OpenCV捕获USB热像仪视频流实时校正附核心代码Jetson Nano接FLIR Lepton 3.5热像仪USB Video Class协议用OpenCV直接读取import cv2 import numpy as np import tensorrt as trt import pycuda.driver as cuda import pycuda.autoinit # 加载TensorRT引擎 TRT_LOGGER trt.Logger(trt.Logger.WARNING) with open(nucnet.engine, rb) as f: runtime trt.Runtime(TRT_LOGGER) engine runtime.deserialize_cuda_engine(f.read()) context engine.create_execution_context() # 分配GPU内存 input_shape (1, 1, 256, 256) output_shape (1, 1, 256, 256) d_input cuda.mem_alloc(np.prod(input_shape) * np.dtype(np.float32).itemsize) d_output cuda.mem_alloc(np.prod(output_shape) * np.dtype(np.float32).itemsize) # OpenCV捕获 cap cv2.VideoCapture(0) # Lepton通常为/dev/video0 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 256) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 256) while True: ret, frame cap.read() # frame shape: (256,256,3) BGR if not ret: break # 转灰度、归一化到[-1,1] gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY).astype(np.float32) gray (gray / 127.5) - 1.0 # [0,255] → [-1,1] # 转tensor拷贝到GPU h_input np.expand_dims(gray, (0, 1)) # [1,1,256,256] cuda.memcpy_htod(d_input, h_input.astype(np.float32).ravel()) # 执行推理 context.execute_v2([int(d_input), int(d_output)]) # 拷贝结果回CPU h_output np.empty(output_shape, dtypenp.float32) cuda.memcpy_dtoh(h_output, d_output) corrected np.clip((h_output[0,0] 1) * 127.5, 0, 255).astype(np.uint8) # 显示 cv2.imshow(Corrected, corrected) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()血泪经验Lepton输出是YUV格式OpenCV默认读BGR会错色——必须在cap.set()后加cap.set(cv2.CAP_PROP_CONVERT_RGB, 0)强制不转RGB再用cv2.cvtColor(..., cv2.COLOR_YUV2GRAY)但实测Lepton UVC驱动已自动转灰度故直接cvtColor BGR2GRAY可用。另外execute_v2必须传指针列表[int(d_input), int(d_output)]传tensor会段错误。从那以后我每次部署红外NUC模型到边缘设备都强制走一遍“PyTorch FP32 → TorchScript量化 → ONNX → TensorRT”四步链哪怕只是验证想法。因为红外图像的非均匀性不是数学题是硬件缺陷的物理映射任何环节的精度损失都会在最终热图上暴露无遗——比如温漂补偿差0.1%在30℃环境里就可能让目标温差测量误差超±2℃。希望帮到你。本文还有配套的精品资源点击获取
