基于VGG19与Gram矩阵的非实时图像风格迁移实验

简介：面向人工智能与计算机视觉学习者的深度学习实验资源，聚焦非实时图像风格迁移这一经典课题，帮助读者理解如何借助预训练卷积神经网络，在保留源图像内容结构的同时迁移目标图像的纹理与色彩风格，适用于课程实验复现、CNN原理巩固与艺术化图像处理入门。压缩包共6个文件，约90KB，以5个Python源码为主，涵盖网络层结构定义与风格迁移主流程脚本，另附1张jpg格式的运行结果示例图，便于直观对照算法输出效果。资源已有1240人学习，说明其在实验教学场景中具备一定参考价值。文件组织围绕内容损失与风格损失的构建、特征提取与参数优化展开，读者可据此梳理VGG类模型的使用方式、理解反向传播更新像素的过程，并借鉴其中的层模块划分与超参数调整思路，为同类视觉实验提供可复用的代码骨架与调试参照。

1. 从一张照片到一幅画：非实时风格迁移到底在算什么

智能计算系统实验走到 3-3 这一节，很多人第一反应是训一个前馈网络做实时风格迁移，结果卡在训练集规模和算力预算上。非实时图像风格迁移换了个思路：不训练任何新权重，只拿一张冻结的预训练卷积网络当特征尺子，让一张随机噪声图在几百次迭代里同时靠近内容图和风格图的统计特征。它属于人工智能课程里少见的、能把卷积特征图直接看见的实验——损失曲线的每一次下降，都对应图像上某一块纹理被换掉。这套方案适合三类人：要交课程设计的学生、想讲清楚 Gram 矩阵到底在干什么的助教、以及需要一份可复现基线来做对比实验的从业者。代价很明确，单张图几十秒到几分钟，换来的是不用数据集、不用训练、改一行参数就能换一种画风。

2. 方案选型与总体架构：三路损失挂在同一张冻结的 VGG 上

2.1 为什么实验场景里选迭代优化而不是训练前馈网络

风格迁移有两条主流路线，一条是逐图优化的慢速路线，一条是先用大量「内容图 + 风格图」成对数据训一个前馈网络、推理时一次前向出图的快速路线。前者的代表做法是固定的：预训练 VGG 提特征，内容损失约束语义结构，风格损失约束 Gram 矩阵统计量，优化器直接优化像素。后者的代表做法是把优化过程挪到训练阶段，推理时零迭代。

在实验课和课程设计里，我一般会明确推荐前者，原因不在效果而在可观测性。逐图优化没有训练集依赖，一张内容图配一张风格图就能跑，整个实验的变量只有风格权重、内容权重、特征层组合、迭代步数这四个，每改一个都能立刻看到差异。快速路线需要至少几万张训练图和一个能跑几小时的训练过程，一旦结果不对，问题可能出在数据、网络结构、训练策略任意一环，排查成本对两周的课设来说太高。

这张表是整个方案的选型依据。非实时不是缺陷，是刻意保留的中间过程——实验要看的正是中间过程。如果目标是给一个 App 做滤镜，那当然该走前馈路线；但如果目标是证明自己理解了卷积特征、损失设计和优化过程，逐图优化反而更省事也更有说服力。

2.2 模块划分与数据流：从两张输入图到一张输出图

把整个流程拆开，一共六个模块，职责边界清楚，任何一个模块出问题都能单独定位。

数据流是这样走的：先生成图初始化为内容图的副本或随机噪声，形状为 1×3×H×W，只对这一张张量开梯度。然后用torch.no_grad()把内容图和风格图各前向一次，把目标内容特征和各层 Gram 矩阵缓存下来，这一步很关键，能省掉接近三分之二的显存和计算。接着进入迭代：生成图前向一次拿到当前特征，算三路损失加权求和，反向传播，优化器更新像素，每步结束对像素做一次截断保证值域合法。最后反归一化、转回 uint8、存盘。

2.3 特征层选择与超参数初值表

特征层选择是有讲究的，不能随手写。内容特征取 conv4_2，这一层感受野足够大，保留的是物体轮廓和空间布局，取太浅会只剩下边缘，取太深会丢掉细节。风格特征取 conv1_1、conv2_1、conv3_1、conv4_1、conv5_1 五层，浅层抓颜色和小纹理，深层抓大尺度的笔触结构，五层叠加出来的风格才既有色块又有质感。

下面这组初值是我反复调过、在多数「风景图 + 油画」组合上都能直接出结果的一组，可以直接拿去当起点，再按效果微调。

注意：风格权重的量级比内容权重大六个数量级，这不是笔误。Gram 矩阵在除以元素个数之后数值很小，不放大到 1e6 量级根本推不动画面。

这三个小节的顺序其实就是我讲这个实验的顺序：先说清楚为什么不用训网络，再说清楚数据怎么流，最后把参数摆出来让人能立刻复现。缺了中间那步，学生写完代码跑出来一张灰图，根本不知道是哪一环出了问题。

3. 核心模块实现：Gram 矩阵、三路损失与 LBFGS 主循环

3.1 图像预处理与特征提取器封装

预处理最容易翻车的地方是归一化。torchvision 里的 VGG19 预训练权重是在 ImageNet 上训的，输入必须按mean=[0.485,0.456,0.406]、std=[0.229,0.224,0.225]做标准化，且通道顺序是 RGB。少做这一步，网络照样能跑，只是输出的颜色会整体偏灰偏蓝，很多人以为是风格权重的问题，其实是这里漏了。

import torch import torch.nn as nn from torchvision import models, transforms from PIL import Image # ImageNet 统计量，必须与预训练权重一致，否则颜色会整体偏掉 IMAGENET_MEAN = [0.485, 0.456, 0.406] IMAGENET_STD = [0.229, 0.224, 0.225] def load_image(path, size=512, device="cuda"): """读图 -> 等比缩放到长边 size -> 转张量 -> 归一化，返回 1x3xHxW""" img = Image.open(path).convert("RGB") w, h = img.size scale = size / max(w, h) img = img.resize((int(w * scale), int(h * scale)), Image.LANCZOS) tf = transforms.Compose([ transforms.ToTensor(), # 0~1，HWC -> CHW transforms.Normalize(IMAGENET_MEAN, IMAGENET_STD), ]) return tf(img).unsqueeze(0).to(device) def denormalize(tensor): """反归一化回 0~1，用于存图""" mean = torch.tensor(IMAGENET_MEAN, device=tensor.device).view(1, 3, 1, 1) std = torch.tensor(IMAGENET_STD, device=tensor.device).view(1, 3, 1, 1) return (tensor * std + mean).clamp(0, 1) class VGGFeatureExtractor(nn.Module): """截断到 conv5_1 的 VGG19，参数全部冻结，只做特征提取""" def __init__(self, content_idx=21, style_idx=(0, 5, 10, 19, 28)): super().__init__() features = models.vgg19(weights=models.VGG19_Weights.IMAGENET1K_V1).features self.content_idx = content_idx self.style_idx = set(style_idx) self.max_idx = max(max(style_idx), content_idx) # 只保留用得到的层，后面的层直接丢掉，省显存也省时间 self.layers = features[: self.max_idx + 1].eval() for p in self.layers.parameters(): p.requires_grad_(False) def forward(self, x): content_feat, style_feats = None, {} for i, layer in enumerate(self.layers): x = layer(x) if i == self.content_idx: content_feat = x if i in self.style_idx: style_feats[i] = x return content_feat, style_feats

层号是对着torchvision.models.vgg19().features的顺序数出来的：索引 0 是 conv1_1，5 是 conv2_1，10 是 conv3_1，19 是 conv4_1，21 是 conv4_2，28 是 conv5_1。中间的 ReLU 和 MaxPool 也占索引，所以不能按「第几个卷积层」去数，一定要用 print 打一遍结构确认。这个索引写错一位，风格迁移不会报错，只会悄悄换掉某一层的特征，效果差一截还找不到原因。

eval()和requires_grad_(False)两个都不能省。前者固定 BatchNorm 的统计量（虽然 VGG 用的是 Dropout 而非 BN，但习惯要养好），后者直接省掉参数梯度，显存占用能降一截。

3.2 Gram 矩阵与风格损失

Gram 矩阵做的事，是把一个 C×H×W 的特征图压成 C×C 的通道相关性矩阵，等于回答「哪些通道经常一起激活」。它丢掉了空间位置信息，所以风格迁移能把笔触铺到任意位置，这正是我们想要的效果。

def gram_matrix(feat): """C x H x W -> C x C，除以元素个数做归一化""" b, c, h, w = feat.shape flat = feat.view(b, c, h * w) # 拉平成 C x (H*W) g = torch.bmm(flat, flat.transpose(1, 2)) # 通道两两内积 return g / (c * h * w) # 归一化，防止尺度随分辨率膨胀 def style_loss(gen_feats, target_grams, weights=None): """逐层比较 Gram 矩阵，权重缺省时每层等权""" total = 0.0 for i, feat in gen_feats.items(): g = gram_matrix(feat) w = 1.0 if weights is None else weights.get(i, 1.0) total = total + w * torch.mean((g - target_grams[i]) ** 2) return total

归一化那行g / (c * h * w)是这段代码里最容易被忽略、后果又最严重的一行。不加归一化，Gram 矩阵的数值会随特征图尺寸线性膨胀，512 分辨率下能到几千，平方之后损失直接上百万，梯度一步就把图像炸成雪花。加了归一化，数值被压到个位数量级，配合 1e6 的风格权重刚好落在合理区间。

提示：如果你换了分辨率之后发现同样的参数不出图了，先看 Gram 归一化的分母是不是跟着变了。归一化方式一改，风格权重的量级要重调。

3.3 内容损失与总变分正则

内容损失就是逐元素均方误差，作用在 conv4_2 的特征图上。目标特征要detach()，避免梯度回流到目标分支白白浪费显存。

总变分正则是个可选项，但强烈建议加上。它的作用是在像素层面惩罚相邻像素的剧烈跳变，压制迭代过程中产生的棋盘状噪点。

import torch.nn.functional as F def content_loss(gen_feat, target_feat): """conv4_2 特征上的逐元素 MSE，目标特征不参与反传""" return F.mse_loss(gen_feat, target_feat.detach()) def tv_loss(img): """相邻像素差分的 L1 均值，分别算水平和垂直方向""" dh = (img[:, :, 1:, :] - img[:, :, :-1, :]).abs().mean() dw = (img[:, :, :, 1:] - img[:, :, :, :-1]).abs().mean() return dh + dw

三路损失合成总损失时，加权方式决定了最终画面风格：

total = content_weight * c_loss + style_weight * s_loss + tv_weight * t_loss

内容权重和风格权重是一对跷跷板。内容权重大，画面结构保得住但笔触很淡，看起来像加了层轻滤镜；风格权重大，笔触浓烈但可能把建筑结构搅碎。tv 权重的作用域完全不同，它只在像素层面起作用，一般给 1e-6 到 1e-5，过大画面会糊成一片水彩，过小则容易出现噪点。这个参数的调整不需要和另外两个联动，可以单独扫。

3.4 训练主循环与输出保存

主循环用 LBFGS 是经典做法，每步内部会做多次函数评估，收敛比 Adam 快，300 步左右就能出可观的结果。代价是要写 closure，写法上比 Adam 啰嗦一点。

def run_style_transfer(content_path, style_path, out_path, style_weight=1e7, content_weight=1.0, tv_weight=1e-5, steps=300, size=512, device="cuda"): content = load_image(content_path, size, device) style = load_image(style_path, size, device) extractor = VGGFeatureExtractor().to(device) # 目标特征只算一次，全程不参与反传 with torch.no_grad(): c_target, _ = extractor(content) _, s_feats = extractor(style) s_target_grams = {k: gram_matrix(v) for k, v in s_feats.items()} # 生成图初始化为内容图，比纯噪声收敛更稳 gen = content.clone().requires_grad_(True) optimizer = torch.optim.LBFGS([gen], lr=1.0, max_iter=20) step = [0] while step[0] < steps: def closure(): # LBFGS 会多次调用 closure，每次都必须重新清零梯度 optimizer.zero_grad() with torch.no_grad(): gen.clamp_(0, 1) # 把像素拉回合法值域 c_feat, s_feats = extractor(gen) c_loss = content_loss(c_feat, c_target) s_loss = style_loss(s_feats, s_target_grams) t_loss = tv_loss(gen) loss = content_weight * c_loss + style_weight * s_loss + tv_weight * t_loss loss.backward() step[0] += 1 if step[0] % 50 == 0: print(f"step {step[0]:4d} total {loss.item():.4f} " f"content {c_loss.item():.4f} style {s_loss.item():.4f}") return loss optimizer.step(closure) with torch.no_grad(): out = denormalize(gen.clamp(0, 1)).squeeze(0).cpu() transforms.ToPILImage()(out).save(out_path) return out_path

closure里的几个细节值得单独说。optimizer.zero_grad()必须写在 closure 内部而不是外部，因为 LBFGS 在一次step里会多次调用 closure，写在外面只有第一次是干净的。gen.clamp_(0, 1)放在前向之前，是为了让每次评估都在合法像素值上进行，否则中间过程会出现负值和大值，前向出来的特征会失真。step[0]用列表包一层是因为闭包内不能直接对整型变量做增量赋值，这是 Python 作用域的老问题，绕过办法很多，列表最短。

输出图初始化成内容图的拷贝而不是随机噪声，收敛速度差别很明显。随机噪声起步通常要多跑一百步才能把结构稳下来，内容图起步相当于从「内容正确、风格为零」这个点开始优化，曲线更平滑。如果做对比实验需要展示不同的随机初始点，再把这一行改成torch.randn_like(content) * 0.01即可。

4. 工程化落地：显存、耗时与可复现性的控制办法

4.1 分辨率与显存的换算

风格迁移的显存瓶颈不在模型参数（VGG19 只有约 1.4 亿参数，冻结之后不占梯度），而在特征图。一张 512×512 的图进到 conv5_1，通道数到 512，单层特征就是 512×32×32 大小。更要命的是反向传播要保留所有中间激活，因为要回传到输入像素。

粗算公式是这样的：显存占用约等于「各层特征图元素总数 × 4 字节 × 2（前向激活 + 反向梯度）」，再加上生成图本身的梯度和优化器状态。实际测量下来，单张 512 长边的图在 8GB 卡上占用大概 3 到 4GB，768 长边到 6GB 左右，1024 长边在 8GB 卡上基本会 OOM。

显存吃紧的时候，处理顺序应该是：先降分辨率（最有效），再减少迭代步数（影响效果），最后才考虑换更小的网络。有人会想着把 VGG19 换成 VGG16，省不了多少，因为特征图尺寸是一样的，通道数差异很小。真正的省法是把风格层从五层减到三层，只保留 conv1_1、conv3_1、conv5_1，显存能降两成左右，代价是大尺度纹理的丰富度下降。

4.2 可复现性与种子管理

逐图优化有个容易被忽略的问题：同样的参数跑两遍，结果可能不一样。原因有几种，GPU 上非确定性算子（比如某些原子加操作）的顺序不固定、LBFGS 的线搜索在某些点上会走出不同分支、以及随机初始化时的种子没固定。

要让结果稳定复现，我一般会在脚本开头统一做三件事：

import random, numpy as np, torch def set_seed(seed=42): """固定 CPU/GPU/NumPy/Python 四路随机源""" random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) # 强制使用确定性算法，会牺牲一点速度 torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False

cudnn.deterministic = True会让卷积操作走确定性的实现路径，代价是慢 5% 到 15%，换来的是两次运行的逐像素差异控制在极小范围内。benchmark = False是配套项，如果开着 benchmark，cuDNN 会自己搜最快的算法，那个搜索过程本身就带随机性。

注意：即使全部固定，LBFGS 在浮点误差累积下仍可能有细微差异。如果课设要求「完全一致」，就改走 Adam，并把种子固定，Adams 的确定性比 LBFGS 好控得多。

除了种子，参数记录也不能少。每一步的损失值、当前的学习率、用的是哪几种层组合，都要写进日志文件。答辩时被问到「你调了几次参数」，光靠记忆答不上来，日志是唯一的证据。我的习惯是把配置写成 JSON 文件，命名带上风格名和步数，跑完自动存档，一个月后回头看还能复现出同一张图。

4.3 批量跑多组风格的组织方式

课程设计通常不会只跑一张图，至少要做「内容图 A 配风格图 B、C、D」和「风格权重三档对比」两组实验，加起来十几组。如果靠手工改代码再跑，很容易记混哪个结果对应哪组参数。

我的做法是拆成三层：一个配置文件描述一次实验，一个主脚本读配置跑单次，一个批处理脚本遍历配置目录。

# 目录结构 # configs/ 存放 JSON 配置，一个文件一次实验 # inputs/ 存放内容图和风格图 # outputs/ 按实验名建子目录，存图和日志 # run_all.sh for cfg in configs/*.json; do name=$(basename "$cfg" .json) python style_transfer.py --config "$cfg" --out "outputs/$name" done

配置文件里放的是内容图路径、风格图路径、四个权重、步数、尺寸和随机种子。主脚本用argparse读命令行覆盖配置项，方便临时调参而不改文件。输出目录按实验名分，图文件名里带上style_weight和步数，扫一眼就知道这组实验改了什么。

这套组织的价值在验收阶段体现得最明显。做对比实验时，横排四张图分别是 style_weight 1e6、1e7、1e8 和一个只算内容损失的基线，图名自带参数，图表一次成型。如果所有图都堆在一个目录里用result_1.png到result_12.png命名，整理材料的半天时间基本就浪费了。

4.4 时间预算的估算方法

跑之前先估时间，能避免通宵等结果的情况。总耗时约等于「步数 × 每步耗时」，每步耗时跟分辨率近似成正比，因为特征图元素数量随尺寸的平方增长，但卷积核数量和通道数不变，实际是超线性的。

估的时候可以用小步数先跑一次测单步时间：把steps设成 20，看日志里每 10 步的时间差，乘上目标步数就是总时长。512 分辨率下通常每步 0.2 到 0.4 秒，300 步在 1 到 2 分钟之间。如果测出来每步要 2 秒以上，多半是忘了torch.no_grad()，导致目标特征也在反传。

5. 避坑与排查：六个最容易让结果翻车的点

5.1 输出是满屏雪花或规则花纹

现象：迭代跑完，输出图像一片高频噪点，看不出任何内容结构，损失值在几百到几千之间反复跳。

原因：风格损失的量级失控。最典型的是 Gram 矩阵没做归一化，512 分辨率下 Gram 元素能到几千，平方后损失上百万，梯度一步就把像素推到边界；其次是风格权重给到了 1e9 量级，同样会压过内容项。

解决：先打印三类损失各自的数值。正常情况下风格损失应在个位到百位之间，内容损失在个位量级。如果风格损失超过一千，回头检查gram_matrix里的除以c*h*w有没有写漏，再把style_weight从 1e6 开始重试。

5.2 跑完发现图像几乎没变化

现象：输出和内容图几乎一样，只是轻微偏色，损失曲线几乎平直。

原因：三种可能。生成图张量没开requires_grad，优化器拿到的是一张不参与梯度的常量；学习率太小，LBFGS 的 lr 应该是 1.0 而不是 0.001；或者传进优化器的变量列表写错了，把生成图之外的变量传了进去。

解决：在循环里打印gen.grad.abs().mean()，正常应该在 1e-4 到 1e-2 之间。如果是 0 或 None，就是梯度没连上。另外确认优化器构造是torch.optim.LBFGS([gen], ...)，方括号不能少，少了就不是列表。

5.3 整体颜色发灰、发蓝或偏色严重

现象：结构正确、笔触也对，但整张图蒙了一层灰，或者颜色明显偏蓝紫。

原因：归一化统计量与预训练权重不匹配。用[0.5,0.5,0.5]当均值是很多土办法里的写法，但 torchvision 的 VGG19 权重是在 ImageNet 上训的，必须用[0.485,0.456,0.406]。另一种常见情况是读图时用了 BGR 顺序，OpenCV 读取默认就是 BGR，转张量时又没换回来。

解决：统一用 PIL 读图，convert("RGB")显式指定通道顺序，并核对归一化的两个列表。如果已经跑出偏色结果，可以在反归一化阶段用同一组均值和标准差做逆变换验证，颜色能还原就说明预处理是对的，问题在损失权重上。

5.4 显存爆掉，报 out of memory

现象：跑到第几步突然 OOM，或者一开始就起不来。

原因：分辨率给太大；或者没把目标特征的提取放在torch.no_grad()里，导致内容图和风格图的中间激活也保留了计算图，显存直接翻倍；也可能风格层取太多，五层全开比三层多占两成左右。

解决：先降分辨率到 384 验证流程能跑通，再逐级往上加。检查目标特征提取那段有没有with torch.no_grad():。如果显存卡在临界值附近，可以在每次循环末尾加torch.cuda.empty_cache()，但别指望它能救多少，它只释放没被引用的缓存，真正的办法还是降尺寸。

5.5 同样的参数两次结果差很多

现象：同一组参数跑两遍，一张是油画效果，一张是水彩效果，肉眼可辨的差别。

原因：种子没固定；或者cudnn.benchmark开着，cuDNN 每次自动选不同的卷积算法；也有人在循环里用了torch.rand做随机裁剪，但没固定种子。

解决：把前面set_seed那三行和两个 cudnn 开关一起加上，并且确认调用时机在模型构建和第一次前向之前。如果还不行，改用 Adam 优化器，它的确定性比 LBFGS 好控制，虽然收敛需要调学习率，但复现性稳定得多。

5.6 尺寸不是 8 的倍数导致特征对不齐

现象：运行时报尺寸不匹配的错误，或者内容特征图和生成图的特征尺寸差一个像素。

原因：VGG 里有五次最大池化，输入尺寸必须能被 16 整除，特征图才不会在某一层出现奇数尺寸再被池化取整丢掉。图像按长边缩放之后短边是任意值，很容易出现奇数。

解决：在load_image里加一步对齐，把宽高都裁到 16 的倍数：

def align_to(x, factor=16): """把宽高向下取整到 factor 的倍数""" w, h = x.size return x.resize((w - w % factor, h - h % factor), Image.LANCZOS)

这个坑的麻烦之处在于，大部分尺寸下它不报错，只是悄悄让内容特征和目标特征错开一个像素，损失照样能算、图照样能出，但细节会糊掉一层，很难联想到是尺寸问题。我现在的习惯是缩放完立刻对齐，不给自己留排查的机会。

6. 验收与答辩：把「能出图」变成「能证明为什么能出图」

验收阶段最容易出现的情况是：图能跑出来，但被问「为什么风格权重取 1e7」时答不上来。这一章给一套自检和讲解顺序，把结果变成可验证的证据。

6.1 验收清单与对比实验设计

先按这张表过一遍，每一项都能拿出东西再往下走。

对比实验至少要设计两组。第一组固定内容图和风格图，风格权重取 1e6、1e7、1e8，展示从「轻滤镜」到「重笔触」到「花纹溢出」的完整区间，这一组直接回答了权重怎么选的问题。第二组固定权重，比较有无总变分正则的差异，放大局部截图能看到噪点的区别，说明tv_weight的作用。

6.2 答辩讲解的推荐顺序

讲解不要从代码开始，从问题开始。第一句说清楚为什么不训前馈网络，把「不需要数据集、可观测中间过程、改一行参数换一种画风」这三个理由讲出来，评委立刻知道你想清楚了选型。第二步讲三路损失各自约束什么，重点讲 Gram 矩阵丢掉了空间信息、所以风格能铺到任意位置，这是整个方法的理论核心。第三步展示损失曲线和中间迭代图，第 0 步、第 50 步、第 150 步、第 300 步各存一张，能直观看到笔触怎么一层层叠上去。最后再讲工程细节，显存怎么算、种子怎么固定、OOM 怎么排查，这部分展示的是落地能力。

被问到「能不能实时」的时候，不要回避，直接说清楚耗时在 1 到 2 分钟量级，属于非实时方案，如果要实时需要换成前馈网络并准备训练集，本实验的目标是可解释性而不是吞吐。这个回答比硬说「优化得很好」可信得多。

我从第一次带这个实验起就养成了一个习惯：每跑一组参数，先存三样东西——图、日志、配置 JSON，缺一样都不算跑完。当时觉得麻烦，后来被追着问「这组结果用的什么权重」才明白，后悔药都在这些文件里。希望帮到你。

本文还有配套的精品资源，点击获取