无人机航拍行人检测数据集：7400张YOLO格式样本的构成、训练与踩坑实践

做无人机航拍项目的时候最头疼的不是模型选型而是手里没有一份能真正贴近航拍视角的行人检测数据集。普通监控摄像头拍出来的行人在画面里占几百个像素姿态稳定光照可控换成无人机视角之后行人往往只有几十个像素头部、肩膀特征糊成一团再加上俯拍导致的形变、阴影干扰、楼顶与树木遮挡原本在COCO上表现很好的模型拉过来直接掉点。这也是我拿到这个“无人机航拍行人检测数据集 | 7400张YOLO航拍检测数据集”之后愿意认真跑一遍完整流程的原因——这份数据集的定位非常明确服务无人机航拍场景下的行人检测而且已经是YOLO格式省去了最繁琐的标注转换环节。这篇文章我把数据集的构成逻辑、标注边界、训练配置、踩坑过程以及扩展方向完整梳理一遍适合正在做低空安防巡检、机场跑道异物监测、智慧城市人流统计等方向的开发者参考。1. 航拍视角下的行人检测难在哪1.1 同一个“行人检测”换个视角就全变了地面摄像头拍行人镜头基本保持水平行人的长宽比、朝向、遮挡关系相对稳定。无人机航拍则完全不一样视角从平视变成了俯视而且随着飞行高度变化俯仰角从30度到90度都会出现。同一个行人在画面里可能只是一个带肩部轮廓的圆点也可能是横躺在画面中的狭长身影。目标尺度随飞行高度剧烈变化这是航拍行人检测区别于普通检测的第一道坎。第二个坎是目标密度和重叠。无人机在人群密集区域比如景区广场、早晚高峰路口拍摄时一个画面里可能出现几百个行人相互遮挡严重每个人平均只有30到50个像素。这时候模型学的不是“人长什么样”而是“人的头肩模式在密集纹理中如何区分”。用普通数据集训练出来的模型特征图下采样倍数稍大一点小目标就直接被池化掉了。第三个坎来自背景。航拍画面的背景极其复杂树冠纹理与行人衣物纹理容易混淆楼顶太阳能板、空调外机、地面阴影、马路标线都可能被误检为行人。我在实际巡检项目里曾经统计过用普通数据集训练的YOLOv8模型在航拍画面上的误检率高达20%以上大量错检都集中在暗色矩形物体和树影边缘。1.2 为什么通用COCO等数据集帮不上忙很多人觉得COCO里有行人类别直接用COCO预训练模型做迁移学习不就行了这个思路方向没错但落地效果差距很大。COCO中的行人图片以地面视角为主图像分辨率高、目标尺度大模型提取到的特征是“全身轮廓清晰的面部结构”。航拍场景下这些特征都不复存在预训练权重只能提供基础的边缘纹理特征对航拍视角下的“行人概念”并没有形成正确的认识。另外COCO对行人的标注是通用语义分割级别的轮廓框它把自行车上的人、坐在车里的人、拿着行李箱的人都算作行人。航拍场景里许多这类目标在画面中根本无法辨识如果训练集和推理集的标注语义不一致模型学到的分类边界就会错位。真正需要的是一份“航拍视角下可辨识行人”的标注定义而不是通用语义的行人定义。这也是我觉得这份7400张YOLO航拍检测数据集的定位比较聪明的地方它直接把数据组织成了YOLO训练可以立刻消费的格式图片、标签、类别、场景划分都按航拍任务重新整理没有让使用者先去处理“标注语义漂移”的问题。1.3 这份7400张航拍数据集的价值定位用一句话概括这是一份专门为航拍俯视/斜视角行人检测准备的微调数据集。7400张图适合作为预训练模型的微调底料而不是从零训练的大规模数据集。它的价值不在于“数据量大”而在于“场景纯、格式对、标注口径一致”。我在跑完整个流程之后的感受是如果你已经有一个用COCO预训练的检测模型那么用这份数据微调200个epoch左右就能在航拍场景下获得肉眼可见的提升。如果是从零训练7400张图可能不太够需要通过强数据增强和外域数据辅助来凑。所以它在使用链条上的最佳位置是“预训练基座与场景部署之间的最后一公里”。2. 数据集的构成与标注规范先用明白再动手2.1 7400张数据从哪来、覆盖哪些场景拿到数据集第一件事不要急着训练先花半小时把目录结构浏览一遍。这个数据集的图片按场景语义做了分类组织常见的航拍场景大概包括城市十字路口、居民区楼顶、学校操场、景区广场、工地、公园绿地、停车场、运动场等。同样一个行人出现在柏油路面、绿色草坪、灰色屋顶、红色塑胶跑道上模型学习到的特征会有明显差异所以场景多样性比单纯数量更关键。图像分辨率方面我看到大多数图片在1080p到4K之间这个分辨率区间覆盖了主流消费级航拍无人机和行业级载荷的输出画质。目标尺寸分布比较极端一部分图片是高空全景目标的平均高度只有20像素左右一部分是低空平视目标高度100像素以上。训练之前建议统计一下自己实际业务场景的飞行高度再决定是否需要对数据集做重采样或裁剪。无人机实测时通常飞50米到120米对应的目标尺寸集中在小尺寸区间这一点需要重点考虑。2.2 标注边界规则哪些算行人哪些不标标注口径是这份数据集被我反复研究的地方。航拍视角下“行人”的外延和地面视角完全不同。通过观察标签分布和边界案例可以总结出几条规则完整可见的行人无论站姿、走姿、跑步姿态全部标注被遮挡超过70%的行人不予标注只在遮挡较少时保留可见部分坐在轮椅上的人、推婴儿车的人不算行人因为它们的目标形态、运动特征差异太大施工反光服人员、骑行中的人按下车后的行人处理不按行人标注以免混淆画面边缘裁切严重、只有一条腿或半个身体的个体不标注。符合“可辨识完整人类轮廓”的行人定义是核心这种标注口径的好处是模型被强制学习“完整目标”不会把半个人当作正样本。若在训练集里加入大量残缺样本虽然能提升部分遮挡场景的召回率但容易造成大量误检尤其是航拍画面中物体边缘天然不齐整模型会倾向于把树缝、墙角也当成半个人。2.3 YOLO格式到底长什么样如何校验YOLO格式的标注是每个图像对应一个同名的txt文件每行记录一个目标字段格式为class_id x_center y_center width height其中x_center、y_center、width、height是相对于图像宽高的归一化坐标。该数据集是单类行人检测所以所有txt文件的每一行都以0开头。一个很实用的校验方法是写一段Python脚本随机抽取几十张图片把txt标注画回原图检查框的位置是否与行人对齐。这一步能快速发现坐标是否越界、框体是否严重偏移、标注是否错位。做法很简单用OpenCV读取txt按归一化坐标换算到像素坐标画矩形并保存到输出目录。import cv2 import os img_dir images/train label_dir labels/train out_dir check_vis os.makedirs(out_dir, exist_okTrue) for name in os.listdir(img_dir)[:40]: img_path os.path.join(img_dir, name) label_path os.path.join(label_dir, os.path.splitext(name)[0] .txt) img cv2.imread(img_path) h, w img.shape[:2] if not os.path.exists(label_path): continue with open(label_path) as f: for line in f: parts line.strip().split() if len(parts) ! 5: continue _, xc, yc, bw, bh map(float, parts) x1 int((xc - bw / 2) * w) y1 int((yc - bh / 2) * h) x2 int((xc bw / 2) * w) y2 int((yc bh / 2) * h) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.imwrite(os.path.join(out_dir, name), img)常见的标注质量问题包括归一化坐标偶尔出现大于1的小数表示框稍微越界、相邻高度飞行画面中目标框被压扁、小目标框宽高不足3像素。这类问题不需要全部修正但要在训练配置里做好容忍处理例如调整loss对微小框的敏感度或者直接限制目标最小宽高为2像素低于该值则忽略。3. 基于YOLO的完整训练流程与核心参数调优3.1 环境与目录组织训练环境建议使用PyTorch 2.xNVIDIA显卡至少8GB显存如果只有6GB显存则需要把batch size降到8以下并用梯度累积。Ultralytics YOLOv8或者YOLO11都可以直接消费这个数据集格式。考虑到航拍小目标多我建议从YOLOv8n或者YOLOv8s起步先把基线跑通再逐步增大模型容量。数据集目录组织建议这样放dataset/ images/ train/ val/ test/ labels/ train/ val/ test/ data.yamldata.yaml里只需要指定类别数为1、类名为person或pedestrian并填上train、val路径即可。注意路径建议写绝对路径至少写相对于data.yaml所在目录的路径避免在不同机器上迁移时出现找不到文件的低级错误。3.2 划分训练集、验证集、测试集7400张图不建议随机划分。因为同一批连续航拍帧之间高度相似随机划分会导致验证集与训练集高度重叠评估结果虚高。更可靠的方式是按场景划分把同一场景的连续画面归入同一集合比如城市路口场景全部进训练集广场场景全部进验证集这样验证集才能真正反映模型对未见场景的泛化能力。我实际操作时的比例是训练集6200张、验证集700张、测试集500张。测试集保留完全独立只在所有调参结束之后跑一次。如果希望严格复现指标需要把随机种子固定下来否则每次shuffle后的模型效果都会小幅波动航拍小目标场景尤其明显。3.3 训练配置与关键参数用Ultralytics框架时核心训练命令可以写成下面这样yolo detect train \ datadata.yaml \ modelyolov8s.pt \ epochs200 \ imgsz1280 \ batch16 \ lr00.005 \ mosaic1.0 \ scale0.5 \ fliplr0.5 \ degrees0.0 \ patience50imgsz这里我故意设成了1280。很多人训练航拍模型时沿用640这是我在实际项目里发现的最大的一个坑。航拍行人目标本来就小640分辨率下大量目标在特征图上只占一两个格子模型能学到的信息极度有限。1280会让每个目标多出4倍像素对mAP的影响比更换模型结构还明显。batch size在显存允许范围内尽量调大小目标检测对梯度噪声更敏感小batch容易导致训练震荡。lr0可以从0.01降到0.005——航拍数据的目标尺度分布与ImageNet类数据差异较大学习率太大容易破坏预训练特征。3.4 评估指标与实测基线评估指标不能只看mAP0.5要同时关注mAP0.5:0.95和不同尺度下的AP。航拍场景重点观察AP_small也就是小目标AP。如果AP_small明显低于AP_medium说明模型对数十像素级别的行人仍存在系统性的识别不足。我跑出的基线数据大概是这样不同初始化会略有波动用COCO预训练的YOLOv8s在1280分辨率下训练150个epoch验证集mAP0.5约为0.78mAP0.5:0.95约为0.42AP_small约为0.31AP_medium约为0.48。这个水平在真正部署时还不够但在微调底料的意义上已经算合格的起点。加锚框相关的自动学习、提高anchor匹配阈值后AP_small还能进一步改善。4. 落地过程中的踩坑与解决思路4.1 小目标漏检与“成片丢失”的问题航拍画面里最典型的问题不是单个目标漏掉而是在某个区域成片漏检。比如飞行高度100米时广场上一群游客刚好被树木阴影覆盖模型直接认为这片区域没有人。排查时第一反应是增加TTA多尺度推理但这其实掩盖了问题本质训练时的正样本在特征图上的响应太弱。解决思路有两个方向。第一个是提高输入分辨率训练和推理都使用1280或更高第二个是使用多尺度训练开启mosaic增强的随机缩放范围scale参数设到0.5到1.5之间让模型在不同高度下都能看到相似的目标尺度分布。实测证明这两步配合可以把成片漏检的情况显著降低。4.2 误检集中在阴影和房顶的根因误检往往集中在颜色纹理与行人工作服接近的区域深色屋顶边缘、树冠阴影、蓝色雨棚等。从特征层面看模型学到的不完全是“人体结构”而是“高对比度的暗色团块”。这个问题的排查链路很有意思先用模型跑测试集把置信度最高的100个误检框可视化发现大量误检框长宽比集中在0.8到1.2之间——也就是说模型在找“方形的暗色物体”。修复手段包括增加背景负样本、提高置信度阈值、引入背景类别。更有效的办法是在训练时把置信度较高的误检区域作为“难负样本”加入训练让模型学会区分行人轮廓与矩形色块。这类处理对无人机目标检测类的项目来说非常常用只靠调阈值会损失召回。4.3 推理阶段的TTA与多尺度融合部署到离线分析场景时我会开TTA。Ultralytics的TTA会对同一张图做多尺度缩放与翻转推理然后融合结果在高密度航拍场景能稳定提升1到2个点的mAP。代价是推理耗时增加3到5倍所以只推荐给离线视频分析场景使用不适合无人机机载实时处理。4.4 部署到无人机端侧的轻量化选择实时机载更适合的做法是YOLOv8n训练后用TensorRT FP16量化输入分辨率保持960或1280NMS置信度阈值设0.25IoU阈值保持0.5。显存带宽是航拍机载推理的主要瓶颈我倒更推荐在飞机上只跑预处理和初步检测把关键帧传回地面站后再做二次精检。这种“机载粗筛地面细检”的链路比单纯追求端侧单模型性能更可靠。4.5 NMS参数对密集人群的影响密集人群场景里NMS的IoU阈值设置会显著影响检测效果。默认0.45容易把重叠的行人合并成一个框而高密度人群相邻行人重叠率往往超过0.5导致漏检严重。实际踩坑后发现把NMS IoU阈值调到0.6到0.65会好很多代价是同一个人可能出现少量重复框再通过跟踪算法的时间一致性过滤。这一点在航拍场景中特别重要因为高度越高行人重叠越明显。5. 后续扩展方向与使用建议5.1 数据增强怎么加才有效航拍数据增强和普通检测有区别。水平翻转一定开但垂直翻转不要开——无人机拍地面没有竖直倒置的物理意义。旋转增强建议用小角度15度以内因为航拍画面有地物朝向的统计规律砖墙纹理、道路方向都会给模型提供额外线索转太多会破坏这种一致性。mosaic增强在航拍数据上是主力增强方式它能把多张不同场景拼在一起提升模型跨场景的泛化能力。但要注意mosaic对极端小目标并不友好四张图拼一起把每个目标都变小了。建议mosaic概率从0.8调低到0.5或者配合固定分辨率的随机裁剪使用。5.2 从检测到跟踪的衔接如果要做人流计数或轨迹分析检测输出只是基础。后续建议用ByteTrack做多目标跟踪这类算法对低置信度检测框的容错能力强比较适合航拍小目标轨迹连续性差的场景。检测模型本身要尽量保证帧间检测一致性否则跟踪轨迹碎片化严重。在实测中把检测置信度阈值设到0.3比设到0.5时的跟踪ID切换次数更少因为小目标在相邻帧间本身就存在频繁的置信度抖动。5.3 这个数据集适合模拟什么项目结合我自己的经验这份数据最适合做以下几个方向的模拟项目低空安防巡检将数据集扩充后训练模型再配上简单的区域入侵判定逻辑即可模拟一个可演示的安防原型人流密度估计用检测框数量做密度映射在景区、广场等场景按航拍高度换算成密度热力图固定路线巡检的视频分析先跑检测模型再对检测序列做时间聚合统计某个区域在指定时间段内出现的总人数。个人觉得最实用的方式是把它作为“场景微调底料”而不是当成最终数据源。使用时通过自采数据补充自己项目的视角和区域特征再用这份数据集做预热让模型先对俯视行人形成正确感知之后加入少量本地数据效果往往比直接用本地数据训练更稳。最后再分享一个小经验这份数据集的场景分布比较偏向开阔区域如果你的实际业务是山地、林地或密集城市峡谷最好额外搜集对应俯视角度的画面通过Mosaic增强融合训练。检测模型的落地效果通常由“数据是否贴近部署场景”决定模型结构反而在其次。用这份7400张数据集把航拍目标的基本形态学扎实再补场景差异是非常高效的路径。