基于YOLOv11的人脸检测与表情识别系统实战：从环境配置到部署全流程

简介基于YOLOv11与自定义YOLO模型的人脸检测与表情识别系统完整项目包面向深度学习入门者及计算机视觉算法工程师适用于智能交互、视频监控、用户情绪分析等实时识别场景。压缩包共含1022个文件大小约56.71MB以md说明文档、py源码脚本、yaml模型配置、pt预训练权重及jpg/png测试图像为主涵盖数据集组织、模型训练、推理部署等环节便于按需查阅与二次开发。目前已有61人学习下载。内容不局限于标准YOLOv11调用还展示了针对人脸表情任务的自定义网络改进包括采用空间金字塔池化与多尺度特征融合提升小脸检测能力引入注意力机制或情感卷积神经网络增强表情特征提取项目按模块拆分了人脸检测、关键点定位、表情分类及后处理逻辑配合关键点注释与可视化样例可帮助使用者快速理解从模型设计到工程落地的完整链路并在此基础上调整网络结构或参数以适应自身数据。整体代码结构清晰适合作为毕业设计、竞赛项目或企业预研的参考实现。1. 先把 YOLOv11 和人脸表情识别绑在一起这套系统解决什么问题拿到这么一份标题自带感叹号的压缩包大部分人第一反应是找代码、跑 demo然后就被环境配置劝退。这套“基于 YOLOv11 与自定义 YOLO 模型的人脸检测与表情识别系统”核心是把两件事接在一起先用目标检测把画面里的人脸框出来再用分类模型判断这张脸的表情。检测是入口表情是结果中间的裁剪、对齐、时序平滑才是工程量的真正所在。实际做下来你会发现检测模型权重一抓一大把但表情识别模型几乎都要自己训。公开的人脸检测模型不算少能直接拿来做表情分类的却几乎没有——因为表情分类的数据分布、输入尺寸和检测完全不同。适合的人群也很明确想做课堂状态分析、智慧零售客群洞察、人机交互或者安防辅助判断的开发者以及正在找深度学习实战项目练手的学生。2. YOLOv11 与自定义模型的选型理由为什么检测和分类要拆成两阶段2.1 用 YOLOv11 做人脸检测选的是部署生态而不是黑匣子YOLOv11 是 Ultralytics 系列在 YOLOv8 基础上延续下来的目标检测框架继承了 anchor-free 解耦头设计主干网络里的 C2f 模块对梯度流做了重新设计neck 部分的多尺度特征金字塔用来捕捉不同大小的人脸。对人脸检测这个具体任务来说yolov11 的天然优势有三个一是人脸是单类目标不需要像 COCO 80 类那样复杂的分类分支训练收敛更快二是 anchor-free 设计对密集人脸场景更友好不会有锚框超参数需要调三是 Ultralytics 框架把导出 ONNX、TensorRT 的链路做得很顺部署时可以直接脱离 PyTorch 环境。很多人觉得检测模型是“黑匣子”跑通就行。我一般建议先看一遍网络结构图不需要读懂每个模块的数学推导但要搞清楚三个关键点输入图片经过多少次下采样、特征图在哪个尺度输出、损失函数里分类和回归的权重配比。人脸检测场景里小目标本来就多如果你的输入分辨率不够再好的网络结构也救不回来。这也是为什么后面要把 imgsz 作为一个重点参数来调。2.2 表情识别不能直接沿用检测头从“有什么”到“什么表情”一个常见的错误想法是既然 YOLO 能检测人脸那我多训练几个表情类别让它直接输出“开心的人脸”和“生气的人脸”不就行了理论上有这个可能但实际效果往往很差。原因在于检测头和分类头的目标本质不同。目标检测的分类分支回答的是“这个框里有没有物体、是什么物体”特征图经过多层下采样后保留的是语义信息丢失的是细节纹理。而表情识别靠的是眼角弧度、嘴角上扬幅度、眉毛肌肉走向这些局部细节这些特征需要较高分辨率的输入才能保留。强制让检测头去学表情等于让它在 20x20 的特征图上判断嘴角的细微变化效果可想而知。所以主流方案是两阶段先用 YOLOv11 把脸框出来裁剪后送给一个独立的分类模型。这样做还有一个工程上的“后悔药”优势——检测模型和表情模型可以独立替换。检测效果不好只换检测权重表情不准只重训表情分类器互不牵连。2.3 自定义 YOLO 模型的两种打开方式标题里的“自定义 YOLO 模型”其实有两种理解取决于你拿到的项目源码是怎么组织的。第一种是在 Ultralytics 框架内通过修改 yaml 文件自定义网络结构比如把 C2f 替换成轻量模块、调整检测 head 的通道数。这种改法适合做结构创新但需要你对网络细节足够熟悉改完还要重新验证收敛性新手不建议一上来就动结构。第二种更常见也是我更推荐的做法检测部分直接用 YOLOv11所谓“自定义”指的是自己写一个轻量表情分类网络接入检测框的裁剪结果。这个自定义模型不需要多大输入 48x48 或 64x64 的灰度图几层卷积加全连接就能跑出不错的效果。整个系统的架构就清晰了YOLOv11 负责定位自定义分类模型负责属性判断。后面的章节按这条线展开。3. 从零跑通人脸检测模型环境配置、数据集转换与训练参数3.1 深度学习环境配置零基础也能一次装好的 GPU 版本先把环境装对否则后面每一步都在给前面的错还债。我平时在 Ubuntu 20.04 上用 conda 管理环境Windows 同样适用只是 CUDA 驱动要提前装好。下面是完整的最小环境配置流程conda create -n face_expression python3.10 -y conda activate face_expression pip install ultralytics torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install opencv-python onnxruntime onnx python -c import torch; print(torch.cuda.is_available())这里有几个关键点。Python 3.10 是目前 Ultralytics 兼容性最好的版本没必要追新PyTorch 的--index-url指定 CUDA 11.8 版本如果你的显卡驱动只支持 CUDA 12把cu118改成cu121重新装即可。最后一行如果输出True说明 GPU 可用输出False就检查驱动版本和 PyTorch 对应关系大概率是版本不匹配。conda 环境的好处是隔离不同项目的依赖互不污染。我见过太多人图省事直接装到 base 环境最后版本冲突到连import cv2都报错只能全部重来。零基础用户请把 conda 环境这一步当成不可跳过的步骤别嫌麻烦。安装完成后运行下面这条命令拉取 YOLOv11 预训练权重并验证环境yolo predict modelyolo11n.pt sourcehttps://ultralytics.com/images/bus.jpg命令执行后会自动下载yolo11n.pt权重文件并跑一次推理结果保存在runs/detect/predict目录下。能顺利出图说明 YOLOv11 部分已经通了。很多人问权重文件下载到哪里默认就在当前目录下后续训练会自动读取不用手动管理。3.2 VOC 标注转 YOLO 格式转换脚本与四个边界坑人脸检测的数据集要么用公开数据集要么拿自己的图片用 labelImg 标注。labelImg 导出的默认格式是 VOC XML而 YOLOv11 训练需要的是 YOLO 格式的 txt 文件——每张图片对应一个同名 txt每行代表一个目标格式是class_id cx cy w h其中 cx、cy 是归一化后的中心点坐标w、h 是归一化后的宽高。写一个转换脚本是第一个必须过的坎import os import xml.etree.ElementTree as ET def voc_to_yolo(xml_path, out_dir, class_map): tree ET.parse(xml_path) root tree.getroot() size root.find(size) img_w int(size.find(width).text) img_h int(size.find(height).text) lines [] for obj in root.iter(object): name obj.find(name).text if name not in class_map: continue box obj.find(bndbox) xmin float(box.find(xmin).text) ymin float(box.find(ymin).text) xmax float(box.find(xmax).text) ymax float(box.find(ymax).text) # YOLO 格式要求坐标归一化到 0-1且中心点要和宽高分离 cx (xmin xmax) / 2.0 / img_w cy (ymin ymax) / 2.0 / img_h bw (xmax - xmin) / img_w bh (ymax - ymin) / img_h lines.append(f{class_map[name]} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}) out_path os.path.join(out_dir, os.path.basename(xml_path).replace(.xml, .txt)) with open(out_path, w) as f: f.write(\n.join(lines))这个脚本的逻辑不复杂但四个边界坑一定要提前避开。第一VOC 坐标是从左上角算起的整数像素值除以图片宽高后才是 YOLO 所需的归一化坐标顺序不能反。第二有些 xml 文件里存在xmin xmax的情况转换前要做数值校验否则宽高为负数训练时 loss 直接 NaN。第三没有标注目标的图片也要生成空 txt不能跳过——YOLO 训练时要求每张图都有对应的标签文件缺文件会报错。第四class_map的映射表必须固定训练集和验证集用同一张表否则类别错位会让 mAP 计算完全失真。转换完成后用下面这段代码随机抽查几张图把框画出来看是否对齐原图。这一步是“后悔药”如果框偏了现在改还来得及等训练完再发现就晚了。import cv2, glob for img_path in glob.glob(images/*.jpg): img cv2.imread(img_path) txt_path img_path.replace(images, labels).replace(.jpg, .txt) for line in open(txt_path): cid, cx, cy, bw, bh map(float, line.split()) x1 int((cx - bw / 2) * img.shape[1]) y1 int((cy - bh / 2) * img.shape[0]) x2 int((cx bw / 2) * img.shape[1]) y2 int((cy bh / 2) * img.shape[0]) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.imwrite(img_path.replace(images, vis), img)3.3 用 YOLOv11 训练自己的人脸检测模型训练命令与参数数据准备好后需要先写一个数据集配置文件告诉 YOLOv11 训练集和验证集在哪、有几类。人脸检测就是单类目标nc设为 1。配置文件一般放在项目的data/目录下命名随意内容固定train: /home/user/face_dataset/images/train val: /home/user/face_dataset/images/val nc: 1 names: [face]然后执行训练命令yolo detect train dataface.yaml modelyolo11n.pt epochs100 imgsz640 batch16 device0训练开始后Ultralytics 会在runs/detect/train目录下保存权重文件best.pt是验证集上表现最好的权重last.pt是最后一轮的结果。推理和部署一律使用best.pt不要贪图last.pt的完整训练过程。保存推理结果也很简单yolo predict modelruns/detect/train/weights/best.pt sourcetest_face.jpg saveTrue预测结果默认保存到runs/detect/predict目录下saveTrue表示把画了框的图片写盘。几个关键参数按我的经验给一份推荐值。imgsz是重中之重人脸检测至少 640 起步如果图片里大量存在几十像素的小脸直接上 960 或 1280但显存占用会同步上涨。batch由显存决定12GB 显存跑yolo11n可以设 16跑更大的模型就降到 8 或 4。lr0默认 0.01自建小数据集时建议改到 0.0010.005能有效避免前期 loss 震荡。epochs不要一口吃成胖子先跑 100 轮看验证集收敛趋势没到平台期就加到了还往上涨就说明过拟合回退到 best.pt。训练结束后把验证集图片跑一遍推理重点看两类错误没框住的漏检脸和框住了但框偏得离谱的错检。这两个指标比 mAP 数字更直观也直接决定了后面表情识别能吃到什么质量的输入。4. 表情识别模型与检测推理管线集成裁剪、分类与实时输出4.1 表情数据集准备裁剪、缩放与类别不均衡处理表情识别常用的公开数据集是 fer2013包含愤怒、厌恶、恐惧、开心、悲伤、惊讶、中性七类但它提供的是 48x48 灰度图没有原始人脸框。这意味着直接用 fer2013 训练出来的分类模型输入分布和 YOLO 检测框的裁剪结果不一致推理时效果会打折扣。正确做法是检测模型先跑一遍数据集的原始图片把检测框保存下来再用这些框去裁剪人脸最后缩放到统一尺寸喂给分类模型。自建数据集也一样按照“检测框裁剪 → 缩放 → 分目录存放”的流程处理。目录结构建议dataset/expression/ train/ happy/ 0001.jpg ... sad/ 0001.jpg ... neutral/0001.jpg ... val/ happy/ sad/这些图片统一为 48x48 或 64x64 的单通道灰度图。分类模型训练时不需要保留原图里的背景信息人脸占比越大越好。处理时把裁剪区域向外扩 10%-20%保留一点脸部边缘反而比精确贴脸效果更好——因为检测框本身有波动训练数据带一点边缘余量能让模型对框位置不那么敏感。类别不均衡是表情数据集的通病。实际场景里中性脸和开心脸占比远大于厌恶、恐惧直接训练会让模型倾向于预测高频类别。两个常用解法一是用WeightedRandomSampler按类别数量反比采样让每个 epoch 里各类别样本量均衡二是在损失函数里按类别权重放大少数类的梯度。两种可以同时用一般第二轮训练后分类效果会有肉眼可见的提升。4.2 训练轻量表情分类模型表情分类不需要大网络。输入分辨率低、类别少、特征集中在局部纹理一个 5 层左右的轻量卷积网络就能达到较好的效果。我常用的结构是这样的import torch.nn as nn class ExpressionNet(nn.Module): def __init__(self, num_classes7): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 32, 3, padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(2), # 48 - 24 nn.Conv2d(32, 64, 3, padding1), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2), # 24 - 12 nn.Conv2d(64, 128, 3, padding1), nn.BatchNorm2d(128), nn.ReLU(), nn.AdaptiveAvgPool2d(1), ) self.classifier nn.Linear(128, num_classes) def forward(self, x): x self.features(x) return self.classifier(x.view(x.size(0), -1))网络输入是 1x48x48 的单通道灰度图经过三次卷积和两次池化后空间尺寸被压到 12x12最后由全局平均池化把特征压缩成 128 维向量全连接层输出 7 类得分。训练时注意三点BatchNorm在 batch size 很小时效果会变差训练至少 32 起步用CrossEntropyLoss如果想做类别加权直接传weight参数优化器选 Adam学习率从 1e-3 开始每 20 轮降到原来的 1/10。这个模型在普通 GPU 上跑一 epoch 只要几十秒训练成本可以忽略不计。4.3 检测与分类串联推理管线与保存识别结果检测模型和分类模型都准备好后就可以把它们串成一条完整的推理管线。流程是读图 → YOLOv11 检测人脸 → 按检测框裁剪 → 缩放成 48x48 → 表情分类模型预测 → 在图上画框和标签 → 保存结果。代码实现如下import cv2, torch import numpy as np from ultralytics import YOLO detector YOLO(runs/detect/train/weights/best.pt) classifier ExpressionNet(num_classes7) classifier.load_state_dict(torch.load(expression_net.pt, map_locationcpu)) classifier.eval() labels [angry, disgust, fear, happy, sad, surprise, neutral] img cv2.imread(test.jpg) results detector(img, conf0.5)[0] for box in results.boxes: x1, y1, x2, y2 map(int, box.xyxy[0].tolist()) face img[y1:y2, x1:x2] face_gray cv2.cvtColor(face, cv2.COLOR_BGR2GRAY) face_resized cv2.resize(face_gray, (48, 48)) / 255.0 tensor torch.FloatTensor(face_resized).unsqueeze(0).unsqueeze(0) with torch.no_grad(): probs torch.softmax(classifier(tensor), dim1)[0] pred_idx int(torch.argmax(probs)) label f{labels[pred_idx]}: {probs[pred_idx].item():.2f} cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText(img, label, (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 2) cv2.imwrite(output.jpg, img)这段代码里有两个细节值得注意。一是检测框置信度阈值设了 0.5太低会出现大量误检框送进分类器把背景当人脸分类二是分类模型用了torch.softmax拿到概率而不是直接取 argmax这样在画标签时能同时显示置信度方便后续做时序平滑。性能预算上YOLOv11n 在 640x640 输入下推理约 10-20ms表情分类模型在 CPU 上约 3-5ms加上图像缩放和绘制单帧总耗时在 20-30ms 左右能跑到 30-50 FPS。如果换用 yolo11s 或更大的模型检测时间会翻倍但小目标召回率会有提升速度和精度的取舍看你的实际场景。5. YOLOv11 表情识别系统避坑指南五个高频翻车点与处理方案5.1 检测框闪烁导致表情标签乱跳现象在视频里跑同一套代码人脸检测框基本稳定但表情标签在“开心”和“中性”之间频繁跳变每隔几帧就换一次完全没法用。原因两个模型都是单帧预测检测框的位置有轻微抖动裁剪区域因此变化加上表情分类模型对相近类别开心和中性、悲伤和恐惧的边界本来就模糊置信度在两个类别间反复横跳。解决引入时间维度的平滑。维护一个长度为 5 的滑动窗口存储最近 5 帧的表情预测结果取出现次数最多的类别作为当前输出只有新类别连续出现 3 帧以上才切换标签。置信度阈值也要提高单帧分类概率低于 0.6 的不参与投票直接沿用上一帧结果。这套做法能把标签跳变从每帧切换降到每秒 1-2 次。5.2 小目标人脸召回率低现象照片里远处的人脸只有二三十像素检测模型直接漏检表情识别自然无从谈起。验证集 mAP 看着有 0.8实际图片上一堆小脸没框出来。原因YOLOv11 默认 640 输入下小目标下采样后特征图上的响应极弱容易和背景纹理混淆。这和“yolov11 小目标优化”的热搜词高度相关本质是输入分辨率和感受野的匹配问题。解决优先把imgsz提高到 960 或 1280这是性价比最高的手段显存不够就缩小batch到 4或者开启 AMP 混合精度。其次可以考虑切图推理把大图切成 640x640 的块分别检测再合并结果但要注意重叠区域的重复框需要用 NMS 过滤。最后才是改网络结构层面的优化比如在 neck 部分增加针对小目标的检测头这个改动量大建议前两种方法都试过无效再动手。5.3 训练时 loss 变成 NaN现象训练刚开始几轮正常某一步 loss 突然变成nan之后所有指标都无法更新日志里刷满了警告。原因最常见的是标注框宽高出现负数或零转换时坐标越界没校验也可能是学习率过大梯度在数值上直接溢出还有一种是数据里有全黑或全白的损坏图片归一化后出现除零问题。解决先跑数据检查脚本遍历所有 txt 标签检查w和h是否在 0 到 1 之间、cx和cy是否在合法范围内非法样本直接删除或修复。然后把lr0调低到 0.001开启warmup_epochs3让模型前几轮用较小的学习率热身。修改后如果还在 NaN把batch降一半排除显存溢出导致的数值问题。5.4 标注脏数据导致 mAP 异常现象训练了 100 轮验证集 mAP 只有 0.3 上下用训练集图片推理却发现框的位置明显不对明明画的是左脸框却落在右脸或者背景上。原因数据标注和转换环节出了问题。常见的是类别映射表错位class_map里人脸对应 id 从 1 开始而 YOLO 要求从 0 开始所有标签整体偏移一位或者是转换脚本有 bug把 xmin 除以了图片高度而不是宽度导致框整体变形。解决在训练前增加一次可视化验证把转换后的 txt 标签画到原图上抽查。不要只看一两张按目录均匀抽样 30-50 张。这一步能过滤掉绝大部分低级错误。另外统计所有标签的宽高比分布人脸检测场景下框的宽高比应该在 0.5-2.0 之间出现大量异常值说明坐标解析有问题。5.5 摄像头读取阻塞让推理延迟越来越高现象视频流推理时开头几秒帧率正常几分钟后画面越来越卡延迟从几百毫秒涨到几秒最后画面直接定格。原因cv2.VideoCapture.read()和推理放在同一个线程里。摄像头读取是 I/O 操作阻塞时间不稳定推理是计算密集操作两者互相等待处理不过来时队列积压延迟自然线性增长。解决把读取和推理拆成两个线程。读取线程持续从摄像头拉帧保留最新的一帧丢掉的旧帧不处理推理线程每次取最新帧做检测和分类。如果对实时性要求更高可以把检测和表情分类也拆到两个线程并行用队列传递裁剪结果。注意帧率不能无限增长读取线程要加一个time.sleep(0.01)控制 CPU 占用。6. 让系统从 demo 变得可用量化、视频流与误报抑制的三招6.1 导出 ONNX 并量化用部署框架替代权重文件PyTorch 直接推理在服务器上没问题但要放到边缘设备或生产环境第一步是导出 ONNXyolo export modelruns/detect/train/weights/best.pt formatonnx dynamicTrue simplifierTrue导出后可以用 onnxruntime 推理速度比 PyTorch 原生提升 20%-30%。表情分类模型同理导出 ONNX 再做 int8 量化CPU 推理速度能再翻一倍。量化后小目标召回可能有轻微下降需要在实际场景里验证一遍。我自己的习惯是检测部分保留 float16表情分类部分量化到 int8在准确率和速度之间找平衡点。6.2 多线程读帧与丢帧策略视频流接入不只是在代码里加一个循环读帧。读取线程只负责把最新帧写入共享变量推理线程每次拿到的是“当前最新帧”而不是等待读取线程的每一帧。处理不过来时主动丢帧比强行积压所有帧更重要——实时交互场景下偶尔丢一帧画面可以接受延迟不断累积则不可接受。6.3 用时间平滑与置信度抑制误报误报抑制的核心不是调高阈值而是让模型输出从“单帧判断”变成“短时共识”。我在实际项目中用过的一个有效组合置信度低于 0.5 的检测结果直接丢弃表情分类概率低于 0.6 的不显示具体情绪只显示“不确定”连续 3 帧预测同一个表情才更新标签。这套规则成本极低但能把误报率降低一个量级。最后说一个我踩过的教训有一版部署我把分类阈值调到 0.3开会场景里全场所有人都在“微笑”后来才发现摄像头对侧脸人脸有挤压变形嘴角弧度天然偏高。阈值不是越低越灵敏越低的阈值只意味着越多的误报被放行。这套系统从“能跑”到“能用”之间隔着一批真实场景测试数据多花时间在边界样本上比反复调阈值更有价值。希望这些经验能帮你在做这套 YOLOv11 人脸检测与表情识别系统时少走弯路。本文还有配套的精品资源点击获取