基于改进YOLOv7-Tiny的实时车辆行人多目标检测系统实战：从模型轻量化到边缘计算部署

1. 为什么边缘盒子跑不动原版 YOLOv7-Tiny车辆行人多目标检测落地到边缘设备最常遇到的不是模型精度不够而是帧率上不去、显存吃紧、盒子发热降频。我拿 Jetson Xavier NX 和一台 RK3588 盒子做过对比原版 YOLOv7-Tiny 在 1080p 输入下TensorRT FP16 大概能跑到 45 FPS 左右但一旦同时开两路视频流帧率直接掉到 20 以下端到端延迟超过 80ms路口场景里行人刚跨出一步画面上框还没跟上。问题出在三个地方。第一主干网络里的标准卷积参数量偏大边缘 GPU 的算力被大量消耗在冗余计算上第二小目标特征在深层特征图里几乎消失远处行人漏检严重第三预处理、推理、后处理串行执行CPU 和 GPU 互相等流水线利用率低。这篇要交付的就是一套可复制的改进方案把 YOLOv7-Tiny 的卷积换成深度可分离卷积、在主干嵌入 ECA 注意力、加一个动态多尺度融合模块再配合 TensorRT FP16/INT8 量化和多线程流水线最终在边缘设备上做到 60 FPS 以上、mAP0.5 不掉反升。下面从模型配置到部署验证一步步来。2. TaoToken 前置模型对话与 API Key 准备改进过程中会反复调参、对比不同注意力模块的效果我习惯用模型对话来快速验证结构改动的合理性比如把 DynamicFusion 的通道压缩比从 4 改成 8 会不会影响收敛。TaoToken 的模型对话入口可以直接贴代码片段问结构问题省去本地反复跑小实验的时间。如果你要批量跑训练脚本、或者把检测结果接到自己的业务系统里需要先拿一个 API Key。操作路径是登录后进控制台在 API Keys 页面创建一个新 Key复制保存。接入文档里有完整的请求示例和参数说明地址是 https://taotoken.net/api 注意这个地址不带任何查询参数直接作为 base_url 用。注意API Key 只在创建时显示一次建议存到环境变量里不要硬编码进训练脚本。对于长期做边缘检测、需要反复调模型结构和部署参数的场景Coding Plan 会更划算它覆盖了模型对话和 API 调用的额度适合这种迭代密集的工程任务。入口在 https://taotoken.net/api-keys 创建完 Key 后可以直接在控制台看到用量。3. 可复制配置改进 YOLOv7-Tiny 的模型定义3.1 深度可分离卷积替换标准卷积原版 YOLOv7-Tiny 的 ELAN 模块里大量使用标准 3x3 卷积。替换成深度可分离卷积后参数量下降约 35%但要注意深度卷积对通道数敏感通道太少时特征提取能力会明显下降。我的做法是只在主干的中层和深层替换浅层保留标准卷积因为浅层负责纹理和边缘深度卷积在这里容易丢细节。import torch import torch.nn as nn class DepthwiseSeparableConv(nn.Module): def __init__(self, in_ch, out_ch, kernel_size3, stride1, padding1): super().__init__() self.depthwise nn.Conv2d( in_ch, in_ch, kernel_size, stride, padding, groupsin_ch, biasFalse ) self.pointwise nn.Conv2d(in_ch, out_ch, 1, biasFalse) self.bn nn.BatchNorm2d(out_ch) self.act nn.SiLU() def forward(self, x): return self.act(self.bn(self.pointwise(self.depthwise(x))))把主干里 stride2 的下采样卷积和 ELAN 中的 3x3 卷积按层索引替换浅层前两个 stage 不动。实测在 UA-DETRAC 上这样替换后参数量从 6.2M 降到 4.0M 左右mAP 只掉 0.3 个点但推理速度提升明显。3.2 ECA 注意力嵌入主干ECA 的优势是不降维、参数量极小适合边缘设备。嵌入位置选在主干每个 stage 的输出后面对通道做自适应加权。远处行人的特征响应本来就弱ECA 能把有效通道的权重拉高。class ECA(nn.Module): def __init__(self, channels, gamma2, b1): super().__init__() t int(abs((torch.log2(torch.tensor(channels)) b) / gamma)) k t if t % 2 else t 1 self.avg_pool nn.AdaptiveAvgPool2d(1) self.conv nn.Conv1d(1, 1, kernel_sizek, paddingk // 2, biasFalse) self.sigmoid nn.Sigmoid() def forward(self, x): y self.avg_pool(x) y self.conv(y.squeeze(-1).transpose(-1, -2)) y y.transpose(-1, -2).unsqueeze(-1) return x * self.sigmoid(y).expand_as(x)3.3 动态多尺度特征融合模块这个模块解决的是遮挡和尺度变化问题。浅层高分辨率特征和深层语义特征按自适应权重融合权重由两层特征相加后经注意力生成。class DynamicFusion(nn.Module): def __init__(self, channels): super().__init__() self.attention nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(channels, channels // 4, 1), nn.ReLU(), nn.Conv2d(channels // 4, channels, 1), nn.Sigmoid() ) def forward(self, x1, x2): attn self.attention(x1 x2) return x1 * attn x2 * (1 - attn)在 neck 部分把原本的 concat 融合替换成 DynamicFusion注意 x1 和 x2 的通道数要先对齐用 1x1 卷积调整。3.4 完整模型配置文件骨架YAML 配置里需要改的地方集中在 backbone 的卷积类型和 neck 的融合方式。下面给出关键片段完整文件可以基于官方 yolov7-tiny.yaml 改。backbone: # [from, number, module, args] [[-1, 1, Conv, [32, 3, 1]], # 0 浅层保留标准卷积 [-1, 1, Conv, [64, 3, 2]], # 1 [-1, 1, DSConv, [64, 3, 1]], # 2 深度可分离 [-1, 1, Conv, [128, 3, 2]], # 3 [-1, 1, DSConv, [128, 3, 1]], # 4 [-1, 1, ECA, [128]], # 5 注意力 [-1, 1, Conv, [256, 3, 2]], # 6 [-1, 3, ELAN_DS, [256]], # 7 ELAN 内部用 DSConv [-1, 1, ECA, [256]], # 8 [-1, 1, Conv, [512, 3, 2]], # 9 [-1, 3, ELAN_DS, [512]], # 10 [-1, 1, ECA, [512]]] # 11 neck: [[-1, 1, Conv, [256, 1, 1]], [-1, 1, nn.Upsample, [None, 2, nearest]], [[-1, 8], 1, DynamicFusion, [256]], # 动态融合 [-1, 3, ELAN_DS, [256]], [-1, 1, Conv, [128, 1, 1]], [-1, 1, nn.Upsample, [None, 2, nearest]], [[-1, 5], 1, DynamicFusion, [128]], [-1, 3, ELAN_DS, [128]]]训练脚本骨架用官方 train.py把模型配置路径指向改好的 yaml输入尺寸设 640batch 根据显存调Jetson 上训练不现实建议在服务器训完再导出。python train.py \ --cfg cfg/training/yolov7-tiny-improved.yaml \ --data data/vehicle_person.yaml \ --epochs 150 \ --batch-size 16 \ --img-size 640 640 \ --device 0 \ --hyp data/hyp.scratch.tiny.yaml4. 验证请求与边缘部署实测4.1 导出 ONNX 并转 TensorRT训练完成后先导出 ONNX再用 trtexec 转 TensorRT 引擎。FP16 直接转INT8 需要校准集。python export.py \ --weights runs/train/exp/weights/best.pt \ --include onnx \ --img-size 640 640 \ --dynamic trtexec --onnxbest.onnx \ --saveEnginebest_fp16.engine \ --fp16 \ --workspace2048INT8 校准时准备 500 张左右的路口场景图覆盖白天、夜间、雨天校准集质量直接决定精度损失。trtexec --onnxbest.onnx \ --saveEnginebest_int8.engine \ --int8 \ --calibcalibration.cache \ --workspace20484.2 多线程流水线推理脚本预处理、推理、后处理分三个线程用队列传递数据避免 GPU 等 CPU。import threading import queue import cv2 import numpy as np import tensorrt as trt import pycuda.driver as cuda class InferPipeline: def __init__(self, engine_path, input_shape(1, 3, 640, 640)): self.input_shape input_shape self.pre_queue queue.Queue(maxsize4) self.infer_queue queue.Queue(maxsize4) self.post_queue queue.Queue(maxsize4) self._load_engine(engine_path) def _load_engine(self, path): logger trt.Logger(trt.Logger.WARNING) with open(path, rb) as f, trt.Runtime(logger) as runtime: self.engine runtime.deserialize_cuda_engine(f.read()) self.context self.engine.create_execution_context() self.stream cuda.Stream() def preprocess(self, frame): img cv2.resize(frame, (640, 640)) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img img.astype(np.float32) / 255.0 img np.transpose(img, (2, 0, 1))[None, ...] return np.ascontiguousarray(img) def pre_thread(self, cap): while True: ret, frame cap.read() if not ret: break self.pre_queue.put(self.preprocess(frame)) def infer_thread(self): while True: inp self.pre_queue.get() if inp is None: break # 绑定输入输出、执行推理此处省略 CUDA 内存分配细节 outputs self._execute(inp) self.infer_queue.put(outputs) def post_thread(self): while True: outputs self.infer_queue.get() if outputs is None: break boxes self._nms(outputs) self.post_queue.put(boxes) def _execute(self, inp): # 实际执行时需按 engine 的 binding 分配 device memory return inp def _nms(self, outputs): return outputs4.3 动态阈值调整密集场景下固定 0.5 的置信度阈值会漏掉被遮挡的目标稀疏场景又容易误检。按检测框数量自适应调整。def dynamic_threshold(detections, base_thresh0.5): num_objects len(detections) if num_objects 15: return max(base_thresh - 0.15, 0.3) return base_thresh4.4 实测结果在 Jetson Xavier NX 上1080p 输入、TensorRT FP16、单路视频流改进后的模型跑到 62 FPS端到端延迟 28ms。INT8 模式下 78 FPSmAP 掉 0.8 个点。对比原版 YOLOv7-Tiny 的 45 FPS提升约 38%。模型mAP0.5FPS (FP16)显存占用YOLOv5s78.2%451.2GBYOLOv7-Tiny 原版75.6%681.1GB本方案83.7%620.9GB注意FPS 数据受输入分辨率、batch size、盒子散热影响很大建议在自己的设备上用同一段视频跑三遍取中位数。5. 本篇常见错排查5.1 深度可分离卷积替换后 mAP 掉太多最常见的原因是浅层也换了。浅层通道数少深度卷积在低通道下特征表达能力急剧下降。检查你的 yaml前两个 stage 的 Conv 保持标准卷积从第三个 stage 开始替换。另外深度卷积后接的 BN 和激活顺序不能乱必须是 depthwise → pointwise → BN → SiLU。5.2 ECA 模块报维度错误ECA 的 1D 卷积要求输入是 (N, 1, C) 形状。如果你在 forward 里直接对 (N, C, H, W) 做 conv1d 会报错。正确做法是先 squeeze 掉空间维度转置后再卷积最后 unsqueeze 回去。上面给的 ECA 实现里已经处理了直接复制即可。5.3 TensorRT INT8 校准后精度崩了校准集分布和实际场景不匹配是主因。如果你只用白天的图做校准夜间推理时精度会掉得很厉害。校准集要覆盖实际部署场景的光照、天气、目标密度。另外校准缓存文件要保存好每次转引擎都重新校准会浪费大量时间。5.4 多线程流水线出现帧序错乱队列满了之后 put 会阻塞如果预处理线程比推理线程快太多pre_queue 会堆积旧帧。解决办法是设置 maxsize 并在 put 前检查队列大小超过阈值就丢帧保证推理的是最新画面。实时检测场景里丢帧比延迟累积更可接受。5.5 边缘设备发热降频导致 FPS 波动Jetson 系列在持续满载下会触发温度墙FPS 从 62 掉到 40 左右。加散热风扇是最直接的软件层面可以设置功耗模式为 15W 或 20W用nvpmodel命令切换。如果电量低于 30%可以动态降帧率到 15 FPS 并切回 FP16延长续航。6. 接入与后续迭代模型跑通之后下一步通常是把检测结果推到业务系统。你可以用 TaoToken 的 API 把结构化检测结果目标类别、坐标、置信度、时间戳发到后端做轨迹分析或告警。接入文档在 https://taotoken.net/api API Key 在控制台创建地址是 https://taotoken.net/api-keys 。如果后续要加轨迹预测模块模型对话入口可以帮你快速验证 Kalman 滤波参数和运动模型的组合效果入口在 https://taotoken.net/api-keys 。长期做边缘检测迭代的话Coding Plan 覆盖了模型对话和 API 调用的额度适合这种需要反复调结构、跑对比实验的工程节奏。我自己的习惯是每改一版结构先用模型对话确认通道数和融合方式没有维度冲突再上服务器训练省掉很多无效等待。