DCGAN人脸生成全流程：从爬虫数据采集到高质量脸部ROI裁剪

简介本资源是一套基于Python实现的美女写真图像处理与生成实践项目面向机器学习初学者及计算机视觉方向开发者聚焦人脸检测、数据采集与深度生成模型训练全流程。项目包含爬虫获取写真图集、OpenCV/Dlib脸部识别模块、DCGAN模型训练代码及预训练权重文件覆盖从原始数据采集到高质量人脸图像生成的完整技术链路。压缩包共506个文件主体为442张JPG与29张PNG格式写真图片辅以8个核心Python脚本含训练/推理/数据预处理、6个TensorFlow checkpoint索引文件及配套元数据与说明文档整体容量77.58MB结构清晰便于分模块学习调试。目前已有1739人下载学习读者可直接复现DCGAN人脸生成效果获取可运行的训练脚本、标准化数据列表.lst、预处理工具create_list.bat及多轮次模型检查点显著降低GAN入门门槛与环境配置成本。1. 为什么用 DCGAN 生成美女脸部图像却必须先写爬虫、再做识别、最后才训练模型这不是一个“一键生成美女图”的玩具项目而是一条典型的 CV 工程闭环链路数据采集爬虫→ 数据清洗与标注脸部识别定位→ 数据增强与合成DCGAN 生成→ 反向验证与迭代生成质量评估。标题里四个关键词缺一不可——Python 是工具链底座爬虫解决数据冷启动脸部识别过滤无效样本并裁剪 ROIDCGAN 才是最终的生成引擎。很多新手直接 pip install tensorflow-gpu 然后 load_model(beauty_gan.h5)结果跑出一堆模糊五官、错位眼睛、双下巴叠加的“玄学人脸”根本不敢发到测试环境。真正能落地的方案90% 时间花在前两步爬虫要绕过反爬策略但不触发风控识别要扛住侧脸/遮挡/低光照DCGAN 的 latent vector 才有收敛基础。适合两类人一是想把 CV 模型真正用进产品里的算法工程师二是需要批量生成合规人脸素材供 UI 测试、A/B 实验或隐私脱敏的前端/测试/产品同学。别信“3 行代码生成高清美女图”的标题党——那不是 DCGAN那是盗图PS 批处理。2. 用 requests BeautifulSoup 写稳定爬虫绕过 User-Agent 检查、动态 JS 渲染和 Referer 校验2.1 构建可复用的请求会话池Session 复用 随机 UA Referer 轮换爬取写真类网站时最常翻车的是被 403 或 302 重定向到验证码页。原因不是 IP 封禁而是服务端校验了User-Agent和Referer的组合一致性。单纯用requests.get(url, headers{User-Agent: xxx})会被秒拒。正确做法是封装一个带状态的 Session并预置多组合法 UA-Referer 对import requests import random from urllib.parse import urljoin # 预置真实浏览器 UA 和对应 Referer从 Chrome DevTools Network Tab 抓取 UA_REFERERS [ { ua: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, referer: https://www.example-photo-site.com/ }, { ua: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.2 Safari/605.1.15, referer: https://www.example-photo-site.com/gallery/ } ] class StablePhotoSession: def __init__(self): self.session requests.Session() self.session.headers.update({ Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, Connection: keep-alive, }) def get(self, url, timeout10, **kwargs): # 每次请求随机选一组 UAReferer pair random.choice(UA_REFERERS) self.session.headers.update({ User-Agent: pair[ua], Referer: pair[referer] }) try: resp self.session.get(url, timeouttimeout, **kwargs) resp.raise_for_status() return resp except requests.exceptions.RequestException as e: print(f[ERROR] GET {url} failed: {e}) return None # 使用示例 session StablePhotoSession() resp session.get(https://www.example-photo-site.com/photo/12345) if resp and resp.status_code 200: soup BeautifulSoup(resp.text, html.parser)逻辑说明StablePhotoSession不是简单包装 requests它强制每次请求都刷新 UA 和 Referer 组合模拟真实用户行为。session.headers.update()在每次.get()前重置避免 UA 固定导致指纹暴露。raise_for_status()主动抛异常方便后续统一捕获 HTTP 错误。参数说明timeout10是硬性要求——写真站图片资源大DNS 解析慢设太小会大量超时UA_REFERERS列表必须从真实访问中抓取Chrome → Network → Headers → Request Headers不能用公开 UA 库否则 Referer 与 UA 不匹配仍被拦截。2.2 解析 HTML 提取图片 URL避开img src的懒加载陷阱多数写真站用>def extract_image_urls(soup, base_url): 从 soup 中提取所有可能的高清图 URL支持>import hashlib from PIL import Image import io def download_and_save_image(session, url, save_dir, max_size(1024, 1024), quality85): 下载单张图MD5 去重缩放至 max_size保留 EXIF try: resp session.get(url, timeout30) if not resp or resp.status_code ! 200: return None # 1. 计算 MD5 防重 img_hash hashlib.md5(resp.content).hexdigest() ext url.split(.)[-1].lower() if ext not in [jpg, jpeg, png, webp]: ext jpg filename f{img_hash}.{ext} filepath os.path.join(save_dir, filename) if os.path.exists(filepath): return filepath # 已存在跳过下载 # 2. 加载并缩放保持宽高比最长边 ≤ max_size img Image.open(io.BytesIO(resp.content)) if img.mode in (RGBA, LA, P): # 转 RGB 避免 save 失败 background Image.new(RGB, img.size, (255, 255, 255)) background.paste(img, maskimg.split()[-1] if img.mode RGBA else None) img background img.thumbnail(max_size, Image.Resampling.LANCZOS) # 3. 保存保留 EXIF仅 JPEG if ext in [jpg, jpeg] and hasattr(img, _getexif) and img._getexif(): exif img.info.get(exif, b) img.save(filepath, formatJPEG, qualityquality, exifexif) else: img.save(filepath, formatext.upper(), qualityquality) return filepath except Exception as e: print(f[ERROR] Download {url} failed: {e}) return None # 使用示例配合前面的 image_urls os.makedirs(raw_images, exist_okTrue) for url in image_urls[:50]: # 先试 50 张 path download_and_save_image(session, url, raw_images) if path: print(fSaved: {path})逻辑说明download_and_save_image()三步走① 用hashlib.md5()生成唯一文件名彻底避免重复下载② 用PIL.Image.thumbnail()缩放LANCZOS插值保证画质③ 特判RGBA模式转RGB防止 PNG 透明背景导致 DCGAN 输入通道错乱。EXIF 仅对 JPEG 保留因为 DCGAN 训练不需要 GPS 信息但部分写真图含版权水印EXIF 是法律凭证。参数说明max_size(1024, 1024)是 DCGAN 最佳输入尺寸1024×1024太大显存溢出太小丢失细节quality85平衡体积与画质实测 85 是 JPEG 压缩拐点再低肉眼可见块状伪影。3. 用 face_recognition 库精准裁剪脸部 ROI解决遮挡、侧脸、低光照下的漏检3.1 安装与验证 face_recognition避坑 CUDA 版本冲突face_recognition默认用 dlibCPU 推理极慢单图 3~5 秒必须启用 CUDA 加速。但dlib的 CUDA 版本与系统nvcc、cudnn严格绑定常见翻车点是pip install face_recognition自动装的 dlib 不支持你的 GPU# ✅ 正确安装流程Ubuntu 22.04 CUDA 11.8 # 1. 卸载旧版 pip uninstall dlib face-recognition -y # 2. 安装 CUDA-aware dlib需提前装好 cmake、g、libx11-dev git clone https://github.com/davisking/dlib.git cd dlib mkdir build; cd build cmake .. -DDLIB_USE_CUDA1 -DUSE_AVX_INSTRUCTIONS1 cmake --build . --config Release -- -j$(nproc) sudo make install # 3. 重新安装 face_recognition不带 dlib 依赖 pip install --no-deps face-recognition pip install face-recognition-models # 模型文件提示Windows 用户请改用face_recognition官方预编译 wheelpip install face_recognition-cuda不要自己编译 dlib。Mac M1/M2 用户必须用conda install -c conda-forge face_recognitionpip 版本不兼容 ARM64。3.2 批量检测并裁剪脸部支持多脸、遮挡、侧脸的鲁棒策略face_recognition.face_locations()默认用hog模型对侧脸/遮挡检出率低于 40%。必须切到cnn模型需 GPU并加后处理过滤小脸、偏移脸import face_recognition import numpy as np from PIL import Image def detect_and_crop_faces(image_path, modelcnn, min_width_ratio0.15, min_height_ratio0.2): 检测并裁剪单张图中所有人脸返回裁剪后的 PIL.Image 列表 :param model: hog快CPU或 cnn准GPU :param min_width_ratio: 脸部宽度占图宽最小比例过滤过小脸 :param min_height_ratio: 脸部高度占图高最小比例过滤过小脸 try: # 加载图像 image face_recognition.load_image_file(image_path) h, w image.shape[:2] # 检测人脸cnn 模型需 GPU否则自动降级 face_locations face_recognition.face_locations(image, modelmodel) cropped_faces [] for top, right, bottom, left in face_locations: # 计算宽高 face_w right - left face_h bottom - top # 过滤过小区域避免误检噪点 if face_w w * min_width_ratio or face_h h * min_height_ratio: continue # 扩展 20% 边距DCGAN 需要完整脸部上下文 pad_h int(face_h * 0.2) pad_w int(face_w * 0.2) top max(0, top - pad_h) bottom min(h, bottom pad_h) left max(0, left - pad_w) right min(w, right pad_w) # 裁剪并转 PIL face_array image[top:bottom, left:right] face_pil Image.fromarray(face_array) cropped_faces.append(face_pil) return cropped_faces except Exception as e: print(f[ERROR] Face detection on {image_path}: {e}) return [] # 使用示例 raw_dir raw_images crop_dir cropped_faces os.makedirs(crop_dir, exist_okTrue) for img_file in os.listdir(raw_dir): if not img_file.lower().endswith((.jpg, .jpeg, .png)): continue img_path os.path.join(raw_dir, img_file) faces detect_and_crop_faces(img_path, modelcnn) for i, face in enumerate(faces): # 用原图哈希 顺序编号命名避免重名 base_hash os.path.splitext(img_file)[0] face.save(os.path.join(crop_dir, f{base_hash}_{i:02d}.jpg), quality95) print(fProcessed {img_file}: {len(faces)} faces)逻辑说明detect_and_crop_faces()的核心是modelcnnpad_h/pad_w扩展。cnn模型在 GTX 3090 上单脸检测 0.3 秒检出率超 92%实测 1000 张侧脸图pad扩展确保 DCGAN 输入包含额头、下颌线等关键结构避免生成“切头”效果。过滤逻辑face_w w * 0.15直接剔除证件照以外的小脸大幅减少噪声。参数说明min_width_ratio0.15是经验值——写真图中正常脸部宽度通常 ≥ 图宽 15%低于此值大概率是背景杂物quality95保存 JPG平衡体积与 DCGAN 输入质量实测 95 比 100 体积减 30% 无感知画质损失。3.3 构建高质量人脸数据集按清晰度、角度、光照打分筛选DCGAN 对数据质量极度敏感。直接把cropped_faces全喂进去生成图会出现大量模糊、变形、色偏。必须加一层质量筛选import cv2 import numpy as np def assess_face_quality(face_pil): 评估单张人脸图质量返回综合得分0~100 - 清晰度Laplacian 方差 - 角度基于 68 点 landmark 计算 yaw/pitch - 光照YUV 亮度直方图方差 平均亮度 # 转 OpenCV 格式 face_cv cv2.cvtColor(np.array(face_pil), cv2.COLOR_RGB2BGR) gray cv2.cvtColor(face_cv, cv2.COLOR_BGR2GRAY) # 1. 清晰度Laplacian 方差100 为合格 laplacian_var cv2.Laplacian(gray, cv2.CV_64F).var() sharpness_score min(100, laplacian_var / 100.0) # 归一化到 0~100 # 2. 角度需 face_recognition 提取 landmark try: landmarks face_recognition.face_landmarks(face_cv) if not landmarks: angle_score 30 # 无 landmark默认侧脸 else: # 简化用左右眼中心连线斜率估算 yaw left_eye np.mean(landmarks[0][left_eye], axis0) right_eye np.mean(landmarks[0][right_eye], axis0) yaw_rad np.arctan2(right_eye[1] - left_eye[1], right_eye[0] - left_eye[0]) yaw_deg abs(np.degrees(yaw_rad)) angle_score max(0, 100 - yaw_deg * 1.5) # yaw 每增 1° 扣 1.5 分 except: angle_score 50 # 3. 光照YUV 亮度通道 yuv cv2.cvtColor(face_cv, cv2.COLOR_BGR2YUV) y_channel yuv[:,:,0] brightness_mean np.mean(y_channel) brightness_var np.var(y_channel) # 理想亮度 100~180方差 500~2000 light_score 0 if 100 brightness_mean 180: light_score 50 if 500 brightness_var 2000: light_score 50 total_score 0.4 * sharpness_score 0.3 * angle_score 0.3 * light_score return round(total_score, 1) # 使用示例筛选得分 75 的人脸 good_faces [] for face_file in os.listdir(crop_dir): if not face_file.lower().endswith(.jpg): continue face_path os.path.join(crop_dir, face_file) try: face_pil Image.open(face_path) score assess_face_quality(face_pil) if score 75: good_faces.append((face_path, score)) except: pass print(fQuality filter: {len(good_faces)}/{len(os.listdir(crop_dir))} passed) # 保存高质量集 os.makedirs(high_quality_faces, exist_okTrue) for face_path, score in good_faces[:2000]: # 限制总数DCGAN 最佳 1k~3k shutil.copy(face_path, os.path.join(high_quality_faces, fq{score:.0f}_{os.path.basename(face_path)}))逻辑说明assess_face_quality()三维度打分① Laplacian 方差量化清晰度实测 100 为可接受锐度② 用face_recognition.face_landmarks()提取关键点估算 yaw 角避免侧脸生成失败③ YUV 亮度分析排除过曝/欠曝图。权重0.4:0.3:0.3来自 A/B 测试——清晰度对 DCGAN 收敛影响最大。参数说明score 75是实测阈值低于此值的图在 DCGAN 第 50 epoch 后开始出现高频噪声[:2000]限制总数DCGAN 在 2000 张高质量图上 200 epoch 收敛稳定再多反而过拟合。4. DCGAN 模型构建与训练从 PyTorch 实现到 loss 曲线诊断4.1 DCGAN 网络结构设计为什么 Generator 用 tanh、Discriminator 用 LeakyReLUDCGAN 成功的关键不在 fancy 技巧而在结构约束。原始论文提出的 5 条设计原则必须严格执行否则 loss 爆炸、mode collapse组件正确做法错误做法后果Generatortanh输出层BatchNorm2d每层后sigmoid输出无 BN输出饱和梯度消失DiscriminatorLeakyReLU(0.2)无 BN除输入层ReLU全层 BN判别器过强Generator 学不会上采样ConvTranspose2dstride2UpsampleConv2d产生棋盘效应checkerboard artifacts初始化weight_initConv2d用normal_(0, 0.02)xavier_uniform权重分布不匹配初期 loss 波动剧烈import torch import torch.nn as nn class Generator(nn.Module): def __init__(self, nz100, ngf64, nc3): super(Generator, self).__init__() self.main nn.Sequential( # 输入: (nz, 1, 1) → 输出: (ngf*8, 4, 4) nn.ConvTranspose2d(nz, ngf * 8, 4, 1, 0, biasFalse), nn.BatchNorm2d(ngf * 8), nn.ReLU(True), # (ngf*8, 4, 4) → (ngf*4, 8, 8) nn.ConvTranspose2d(ngf * 8, ngf * 4, 4, 2, 1, biasFalse), nn.BatchNorm2d(ngf * 4), nn.ReLU(True), # (ngf*4, 8, 8) → (ngf*2, 16, 16) nn.ConvTranspose2d(ngf * 4, ngf * 2, 4, 2, 1, biasFalse), nn.BatchNorm2d(ngf * 2), nn.ReLU(True), # (ngf*2, 16, 16) → (ngf, 32, 32) nn.ConvTranspose2d(ngf * 2, ngf, 4, 2, 1, biasFalse), nn.BatchNorm2d(ngf), nn.ReLU(True), # (ngf, 32, 32) → (nc, 64, 64) → 最终 resize 到 1024 nn.ConvTranspose2d(ngf, nc, 4, 2, 1, biasFalse), nn.Tanh() # ✅ 关键tanh 输出 [-1,1] ) def forward(self, input): return self.main(input) class Discriminator(nn.Module): def __init__(self, nc3, ndf64): super(Discriminator, self).__init__() self.main nn.Sequential( # 输入: (nc, 64, 64) → 输出: (ndf, 32, 32) nn.Conv2d(nc, ndf, 4, 2, 1, biasFalse), nn.LeakyReLU(0.2, inplaceTrue), # ✅ 关键LeakyReLU # (ndf, 32, 32) → (ndf*2, 16, 16) nn.Conv2d(ndf, ndf * 2, 4, 2, 1, biasFalse), nn.BatchNorm2d(ndf * 2), # ✅ 仅此处加 BN nn.LeakyReLU(0.2, inplaceTrue), # (ndf*2, 16, 16) → (ndf*4, 8, 8) nn.Conv2d(ndf * 2, ndf * 4, 4, 2, 1, biasFalse), nn.BatchNorm2d(ndf * 4), nn.LeakyReLU(0.2, inplaceTrue), # (ndf*4, 8, 8) → (ndf*8, 4, 4) nn.Conv2d(ndf * 4, ndf * 8, 4, 2, 1, biasFalse), nn.BatchNorm2d(ndf * 8), nn.LeakyReLU(0.2, inplaceTrue), # (ndf*8, 4, 4) → (1, 1, 1) nn.Conv2d(ndf * 8, 1, 4, 1, 0, biasFalse), nn.Sigmoid() ) def forward(self, input): return self.main(input).view(-1, 1).squeeze(1)逻辑说明Generator的tanh与Discriminator的Sigmoid形成对抗闭环——G 输出 [-1,1]D 输入经Sigmoid映射到 [0,1] 概率。LeakyReLU(0.2)解决 ReLU 死区问题让负值梯度不为 0ConvTranspose2d的stride2是上采样标准做法比UpsampleConv更稳定。参数说明nz100是 latent vector 维度100 是经验最优值50 生成多样性差200 训练慢且易 collapsengf64是生成器基础通道数64 在 1024×1024 输入下显存占用合理RTX 3090 可跑 batch_size16。4.2 训练循环与 loss 设计为什么用 label smoothing 和 noise injection标准 GAN 的BCELoss极易导致 discriminator 过拟合loss 快速趋近 0 后 generator 停滞。必须加label smoothing软标签和input noise判别器输入加噪import torch.optim as optim from torch.nn import BCELoss # 初始化 netG Generator(nz100, ngf64, nc3).to(device) netD Discriminator(nc3, ndf64).to(device) criterion BCELoss() # 优化器Adambeta10.5原始论文推荐 optimizerD optim.Adam(netD.parameters(), lr0.0002, betas(0.5, 0.999)) optimizerG optim.Adam(netG.parameters(), lr0.0002, betas(0.5, 0.999)) # Label smoothing真实标签设为 0.9而非 1.0 real_label 0.9 fake_label 0.0 # 训练循环 for epoch in range(num_epochs): for i, data in enumerate(dataloader, 0): ############################ # (1) Update D network: maximize log(D(x)) log(1 - D(G(z))) ########################### netD.zero_grad() real_cpu data[0].to(device) b_size real_cpu.size(0) # Add noise to real images (noise injection) noise_factor 0.1 real_noisy real_cpu torch.randn_like(real_cpu) * noise_factor real_noisy torch.clamp(real_noisy, -1.0, 1.0) # 保持 [-1,1] label torch.full((b_size,), real_label, dtypetorch.float, devicedevice) output netD(real_noisy).view(-1) errD_real criterion(output, label) errD_real.backward() # Train with fake noise torch.randn(b_size, nz, 1, 1, devicedevice) fake netG(noise) label.fill_(fake_label) # Add noise to fake images too fake_noisy fake torch.randn_like(fake) * noise_factor fake_noisy torch.clamp(fake_noisy, -1.0, 1.0) output netD(fake_noisy.detach()).view(-1) errD_fake criterion(output, label) errD_fake.backward() errD errD_real errD_fake optimizerD.step() ############################ # (2) Update G network: maximize log(D(G(z))) ########################### netG.zero_grad() label.fill_(real_label) # fake labels are real for generator cost output netD(fake_noisy).view(-1) errG criterion(output, label) errG.backward() optimizerG.step() # Print statistics if i % 50 0: print(f[{epoch}/{num_epochs}][{i}/{len(dataloader)}] fLoss_D: {errD.item():.4f} Loss_G: {errG.item():.4f})逻辑说明label smoothingreal_label0.9让判别器不追求绝对 100% 置信缓解过拟合noise injectionnoise_factor0.1在 real/fake 输入加高斯噪声提升判别器鲁棒性。两者结合使 D loss 在 0.3~0.6 区间稳定震荡G loss 同步下降避免早停。参数说明betas(0.5, 0.999)是 Adam 优化器关键——beta10.5降低一阶矩估计平滑度让梯度更新更激进对抗 GAN 的梯度不稳定noise_factor0.1是经验值太大导致生成图模糊太小无效。4.3 loss 曲线诊断与 mode collapse 应对看懂 D/G loss 的 4 种典型形态DCGAN 训练失败 80% 源于误读 loss 曲线。以下是实测 50 次训练总结的 4 种典型形态及对策Loss 形态D lossG loss诊断应对措施健康收敛在 0.4~0.6 波动振幅 0.1在 0.8~1.2 缓慢下降振幅 0.15D/G 势均力敌✅ 正常继续训练D 过强快速跌至 0.1几乎水平停滞 1.5无下降趋势G 无法欺骗 D① 降低 D 学习率0.0002→0.0001② 增加 D 的 dropoutnn.Dropout2d(0.3)G 过强持续 0.8缓慢上升快速跌至 0.3振幅大D 学不会区分① 增加 D 的层数加 1 个 ConvBNLeakyReLU② 减少 G 的 BN 层删掉第 2 层 BNMode CollapseD loss 稳定 ~0.5G loss 突然归零G loss 在 0 附近直线G 生成单一模式① 开启spectral_normtorch.nn.utils.spectral_norm② 改用 WGAN-GP 损失提示用tensorboard可视化 loss 时务必开启smoothing0.6默认 0.6否则曲线毛刺掩盖趋势。真正的 mode collapse 往往在 epoch 100 出现此时人工检查生成图——如果连续 10 张图发型/妆容/角度雷同就是 collapse。5. 避坑DCGAN 训练中 5 个血泪经验总结5.1 现象训练 200 epoch 后生成图全是“塑料脸”五官模糊、皮肤发灰原因数据集未做白平衡统一。本文还有配套的精品资源点击获取