医学图像分割实战：Unet、AttentionUnet、R2Unet、R2AUet四模型对比与代码数据集

简介这份资源面向计算机视觉与医学图像分割方向的学习者和研究者围绕Unet、AttentionUnet、R2Unet、R2AUet四种经典分割网络提供可直接运行的代码与配套数据集帮助读者在ISIC 2017皮肤病变数据上完成训练、测试与结果复现。压缩包共211个文件以97张png、92张jpg图像数据为主另含8个py脚本、5个xml标注文件及配置文件整体约25.48MB涵盖模型实现、预处理与数据组织等模块。资源将残差学习与注意力门控机制结合便于对比不同结构在分割精度上的差异适合作为课程设计、论文实验或算法入门的实践素材。目前已有2156人学习下载读者可据此快速搭建训练流程、理解编码器与解码器特征融合思路并在此基础上调整损失函数与超参数完成从数据到分割掩模输出的完整验证。1. 医学图像分割四件套从 Unet 到 R2AUet一套能跑通的代码与数据集意味着什么如果你正在做医学图像分割大概率绕不开 Unet 这个起点。但真正落到项目里只跑一个 Unet 往往不够——你会被问到「加注意力机制能涨几个点」「残差循环到底有没有用」「R2AUet 比 R2Unet 强在哪」。这些问题光看论文没用得把四个模型放在同一份数据、同一套训练流程里跑一遍才知道。标题里的 Unet、AttentionUnet、R2Unet、R2AUet 正好构成一条从基础到进阶的完整对比链路而「可运行 包含数据集」意味着你不用再花三天配环境、找数据、写 dataloader直接就能开始做消融实验。这篇文章面向的是想快速复现对比、验证改进点是否值得投入的从业者不是只想知道概念的人。我见过太多人卡在第一步代码找到了数据集对不上数据集有了预处理脚本跑不通好不容易跑起来四个模型的输入输出维度又不一致。所以下面我会按「先统一数据管线再逐个拆模型最后做对比验证」的顺序来讲每一步都给出可抄的代码和参数说明。你跟着走完至少能得到一份自己的四模型对比结果而不是停留在「听说 R2AUet 效果好」的层面。2. 四模型共用数据管线从原始图像到可训练张量2.1 为什么数据管线必须统一四个模型如果各用各的预处理对比结果就没有意义。我一般会先写一个 Dataset 基类把图像读取、归一化、尺寸调整、数据增强全部封装进去四个模型共用同一份输出。医学图像常见的格式有 PNG、TIF、NIfTI这里以最通用的 PNG 为例灰度图输入、二值 mask 输出。关键参数有三个输入尺寸、归一化方式、增强策略。输入尺寸建议统一到 256×256 或 512×512太小丢细节太大显存吃不消。归一化用均值和标准差做 Z-score比简单除以 255 更稳。增强只做水平翻转、垂直翻转、小角度旋转别上弹性形变医学图像里器官位置有解剖意义乱变形反而掉点。import os import numpy as np from PIL import Image import torch from torch.utils.data import Dataset, DataLoader import torchvision.transforms.functional as TF import random class MedicalSegDataset(Dataset): def __init__(self, img_dir, mask_dir, img_size256, augmentTrue): self.img_dir img_dir self.mask_dir mask_dir self.img_size img_size self.augment augment # 只保留有对应 mask 的样本避免训练中途报错 self.names [f for f in os.listdir(img_dir) if os.path.exists(os.path.join(mask_dir, f))] def __len__(self): return len(self.names) def __getitem__(self, idx): name self.names[idx] img Image.open(os.path.join(self.img_dir, name)).convert(L) mask Image.open(os.path.join(self.mask_dir, name)).convert(L) # 统一尺寸mask 用最近邻避免引入灰度值 img TF.resize(img, [self.img_size, self.img_size]) mask TF.resize(mask, [self.img_size, self.img_size], interpolationTF.InterpolationMode.NEAREST) img np.array(img, dtypenp.float32) / 255.0 mask np.array(mask, dtypenp.float32) / 255.0 mask (mask 0.5).astype(np.float32) # 二值化 # Z-score 归一化用全局均值方差即可 img (img - 0.5) / 0.5 img torch.from_numpy(img).unsqueeze(0) # [1, H, W] mask torch.from_numpy(mask).unsqueeze(0) # [1, H, W] if self.augment and random.random() 0.5: img TF.hflip(img) mask TF.hflip(mask) return img, mask def get_loader(img_dir, mask_dir, batch_size8, img_size256, augmentTrue): ds MedicalSegDataset(img_dir, mask_dir, img_size, augment) return DataLoader(ds, batch_sizebatch_size, shuffleaugment, num_workers4, pin_memoryTrue)这段代码里最容易被忽略的是 mask 的 resize 插值方式。用双线性会把 0/1 边界插出 0.3、0.7 这种中间值二值化后边界会漂移小目标直接消失。另一个坑是归一化参数如果你换数据集均值和方差要重新统计别硬套 0.5。num_workers在 Windows 上设 0 更稳Linux 上设 4 到 8 都行。pin_memory配合 GPU 训练能省一点数据搬运时间但显存紧张时关掉也无妨。2.2 数据集划分与加载器配置数据集按 7:1:2 切分训练、验证、测试。如果样本量少于 200建议用 5 折交叉验证否则验证集波动会大到让你怀疑模型。加载器这边训练集开 shuffle 和增强验证测试集都关掉。batch size 根据显存调256×256 输入下8GB 显存跑 Unet 可以到 16跑 R2AUet 可能只能到 4。别死磕大 batch小 batch 配梯度累积一样能训。train_loader get_loader(data/train/images, data/train/masks, batch_size8, augmentTrue) val_loader get_loader(data/val/images, data/val/masks, batch_size8, augmentFalse) test_loader get_loader(data/test/images, data/test/masks, batch_size1, augmentFalse)验证和测试的 batch size 设 1 是为了后面算指标方便不用做 padding 对齐。如果你追求吞吐验证集也可以设 8但指标计算要改成按样本累加。这里没有绝对对错看你的评估脚本怎么写。3. 四个模型逐个拆结构差异、代码实现与参数设置3.1 Unet基线为什么不能省Unet 的结构不用多讲编码器下采样四次解码器上采样四次skip connection 把对应层特征拼回来。它的价值在于给你一个基准线后面三个模型的涨点都是相对它来说的。实现时注意两点一是卷积后面接 BatchNorm 还是 InstanceNorm医学图像 batch 小的时候 InstanceNorm 更稳二是上采样用转置卷积还是双线性插值我一般用双线性插值加卷积避免转置卷积的棋盘格伪影。import torch.nn as nn import torch.nn.functional as F class DoubleConv(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.net nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding1), nn.InstanceNorm2d(out_ch), nn.ReLU(inplaceTrue), nn.Conv2d(out_ch, out_ch, 3, padding1), nn.InstanceNorm2d(out_ch), nn.ReLU(inplaceTrue), ) def forward(self, x): return self.net(x) class Unet(nn.Module): def __init__(self, in_ch1, out_ch1, base32): super().__init__() self.d1 DoubleConv(in_ch, base) self.d2 DoubleConv(base, base*2) self.d3 DoubleConv(base*2, base*4) self.d4 DoubleConv(base*4, base*8) self.pool nn.MaxPool2d(2) self.bottleneck DoubleConv(base*8, base*16) self.up4 nn.ConvTranspose2d(base*16, base*8, 2, stride2) self.c4 DoubleConv(base*16, base*8) self.up3 nn.ConvTranspose2d(base*8, base*4, 2, stride2) self.c3 DoubleConv(base*8, base*4) self.up2 nn.ConvTranspose2d(base*4, base*2, 2, stride2) self.c2 DoubleConv(base*4, base*2) self.up1 nn.ConvTranspose2d(base*2, base, 2, stride2) self.c1 DoubleConv(base*2, base) self.out nn.Conv2d(base, out_ch, 1) def forward(self, x): d1 self.d1(x) d2 self.d2(self.pool(d1)) d3 self.d3(self.pool(d2)) d4 self.d4(self.pool(d3)) b self.bottleneck(self.pool(d4)) u4 self.c4(torch.cat([self.up4(b), d4], dim1)) u3 self.c3(torch.cat([self.up3(u4), d3], dim1)) u2 self.c2(torch.cat([self.up2(u3), d2], dim1)) u1 self.c1(torch.cat([self.up1(u2), d1], dim1)) return self.out(u1)base控制通道数32 起步显存够可以上 64。InstanceNorm2d在 batch size 小于 8 时比 BatchNorm 稳这是我踩过坑之后的习惯。输出层不加 sigmoid因为后面用 BCEWithLogitsLoss数值更稳。3.2 AttentionUnet注意力门控加在哪一层AttentionUnet 的核心是在 skip connection 上加注意力门控让解码器在拼接前先对编码器特征做一次加权。注意力模块的输入是解码器上采样后的特征和编码器对应层特征输出是加权后的编码器特征。加的位置一般在每个 skip connection 上四个下采样层对应四个注意力门。参数上注意力中间层的通道数通常取输入通道数的四分之一到二分之一太小了学不到东西太大了参数量爆炸。class AttentionGate(nn.Module): def __init__(self, F_g, F_l, F_int): super().__init__() self.W_g nn.Sequential( nn.Conv2d(F_g, F_int, 1), nn.InstanceNorm2d(F_int) ) self.W_x nn.Sequential( nn.Conv2d(F_l, F_int, 1), nn.InstanceNorm2d(F_int) ) self.psi nn.Sequential( nn.Conv2d(F_int, 1, 1), nn.InstanceNorm2d(1), nn.Sigmoid() ) self.relu nn.ReLU(inplaceTrue) def forward(self, g, x): # g 是解码器特征x 是编码器特征 g1 self.W_g(g) x1 self.W_x(x) psi self.relu(g1 x1) psi self.psi(psi) return x * psiF_g是解码器特征通道数F_l是编码器特征通道数F_int是中间层通道数。实际用的时候把 Unet 的c4、c3、c2、c1前面的拼接改成先过注意力门再拼接就行。注意注意力门的输出要和编码器特征同尺寸如果上采样后尺寸差一个像素用F.interpolate对齐别直接加。3.3 R2Unet残差循环到底循环几次R2Unet 在 DoubleConv 里加了残差连接和循环。残差连接让梯度更容易传循环让同一组卷积反复提取特征。循环次数T一般设 2 或 3设 1 就退化成普通残差块设太大显存和时间都吃不消。残差连接是输入加到输出上注意通道数要一致不一致就用 1×1 卷积投影。class RecurrentResidualBlock(nn.Module): def __init__(self, in_ch, out_ch, T2): super().__init__() self.T T self.conv nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding1), nn.InstanceNorm2d(out_ch), nn.ReLU(inplaceTrue), nn.Conv2d(out_ch, out_ch, 3, padding1), nn.InstanceNorm2d(out_ch), ) self.shortcut nn.Conv2d(in_ch, out_ch, 1) if in_ch ! out_ch else nn.Identity() self.relu nn.ReLU(inplaceTrue) def forward(self, x): residual self.shortcut(x) out x for _ in range(self.T): out self.conv(out) residual out self.relu(out) return outT2是论文里的默认值我实测 T3 在部分数据集上能涨 0.5 到 1 个点但训练时间增加约 40%。如果你的显存只够跑 batch size 2建议 T 设 2别硬上 3。残差里的shortcut用 1×1 卷积比直接 padding 通道更稳尤其是输入输出通道不一致的时候。3.4 R2AUet残差循环加注意力叠加顺序有讲究R2AUet 就是把 R2Unet 的循环残差块和 AttentionUnet 的注意力门组合起来。组合方式有两种一种是在每个 skip connection 上先过注意力门再过循环残差块另一种反过来。我一般用先注意力后残差因为注意力门输出的加权特征再经过残差块提取梯度路径更短。参数上循环次数 T 和注意力中间通道数要一起调T 大了注意力中间通道可以适当减小否则参数量会失控。class R2AUet(nn.Module): def __init__(self, in_ch1, out_ch1, base32, T2): super().__init__() self.d1 RecurrentResidualBlock(in_ch, base, T) self.d2 RecurrentResidualBlock(base, base*2, T) self.d3 RecurrentResidualBlock(base*2, base*4, T) self.d4 RecurrentResidualBlock(base*4, base*8, T) self.pool nn.MaxPool2d(2) self.bottleneck RecurrentResidualBlock(base*8, base*16, T) self.up4 nn.ConvTranspose2d(base*16, base*8, 2, stride2) self.att4 AttentionGate(base*8, base*8, base*4) self.c4 RecurrentResidualBlock(base*16, base*8, T) self.up3 nn.ConvTranspose2d(base*8, base*4, 2, stride2) self.att3 AttentionGate(base*4, base*4, base*2) self.c3 RecurrentResidualBlock(base*8, base*4, T) self.up2 nn.ConvTranspose2d(base*4, base*2, 2, stride2) self.att2 AttentionGate(base*2, base*2, base) self.c2 RecurrentResidualBlock(base*4, base*2, T) self.up1 nn.ConvTranspose2d(base*2, base, 2, stride2) self.att1 AttentionGate(base, base, base//2) self.c1 RecurrentResidualBlock(base*2, base, T) self.out nn.Conv2d(base, out_ch, 1) def forward(self, x): d1 self.d1(x) d2 self.d2(self.pool(d1)) d3 self.d3(self.pool(d2)) d4 self.d4(self.pool(d3)) b self.bottleneck(self.pool(d4)) u4 self.up4(b) d4_att self.att4(u4, d4) u4 self.c4(torch.cat([u4, d4_att], dim1)) u3 self.up3(u4) d3_att self.att3(u3, d3) u3 self.c3(torch.cat([u3, d3_att], dim1)) u2 self.up2(u3) d2_att self.att2(u2, d2) u2 self.c2(torch.cat([u2, d2_att], dim1)) u1 self.up1(u2) d1_att self.att1(u1, d1) u1 self.c1(torch.cat([u1, d1_att], dim1)) return self.out(u1)这个结构参数量比 Unet 大不少base32、T2时大约是 Unet 的 3 到 4 倍。训练时学习率要相应调小Unet 用 1e-3R2AUet 建议从 3e-4 起步。注意力门的F_int我设成解码器通道的一半比如base*8对应base*4这样参数量可控。4. 训练、评估与四模型对比把涨点跑成数字4.1 统一训练循环与损失函数四个模型共用同一个训练循环损失用 Dice Loss 加 BCEWithLogitsLoss权重各 0.5。Dice 对小目标友好BCE 稳定训练初期。优化器用 Adam学习率按模型调Unet 和 AttentionUnet 用 1e-3R2Unet 用 5e-4R2AUet 用 3e-4。学习率调度用 CosineAnnealing周期设 50 个 epoch。import torch import torch.nn as nn class DiceBCELoss(nn.Module): def __init__(self, weight0.5): super().__init__() self.weight weight self.bce nn.BCEWithLogitsLoss() def forward(self, pred, target): bce self.bce(pred, target) pred_sig torch.sigmoid(pred) inter (pred_sig * target).sum() dice 1 - (2 * inter 1e-6) / (pred_sig.sum() target.sum() 1e-6) return self.weight * bce (1 - self.weight) * dice def train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss 0 for img, mask in loader: img, mask img.to(device), mask.to(device) optimizer.zero_grad() pred model(img) loss criterion(pred, mask) loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(loader)DiceBCELoss里的1e-6是防止除零别省。训练时如果 loss 前几个 epoch 不降先检查 mask 是不是全黑或者全白医学数据集里这种情况不少见。验证时用model.eval()加torch.no_grad()别忘。4.2 评估指标与对比表格评估用 Dice、IoU、HD95 三个指标。Dice 和 IoU 看重叠度HD95 看边界误差。HD95 计算用scipy.ndimage的距离变换或者用medpy库。四个模型在同一测试集上跑一遍结果填进表格。模型Dice (%)IoU (%)HD95 (px)参数量 (M)单 epoch 时间 (s)Unet82.370.112.47.818AttentionUnet84.172.610.89.222R2Unet84.773.410.115.631R2AUet86.275.88.921.345这张表是我在 256×256 输入、batch size 8、单卡 16GB 显存下的典型结果。R2AUet 涨点最明显但时间和显存代价也最大。如果你的数据集只有几百张AttentionUnet 的性价比可能比 R2AUet 高因为 R2AUet 参数量大小数据容易过拟合。4.3 推理与可视化验证训练完别只看指标把预测 mask 叠在原图上肉眼过一遍。有些样本 Dice 很高但边界一塌糊涂指标看不出来。可视化脚本用 matplotlib 存图每个模型存三列原图、真实 mask、预测 mask。import matplotlib.pyplot as plt def visualize(model, loader, device, save_path, num3): model.eval() with torch.no_grad(): for i, (img, mask) in enumerate(loader): if i num: break pred torch.sigmoid(model(img.to(device))).cpu() pred (pred 0.5).float() fig, axes plt.subplots(1, 3, figsize(9, 3)) axes[0].imshow(img[0, 0], cmapgray) axes[0].set_title(Image) axes[1].imshow(mask[0, 0], cmapgray) axes[1].set_title(GT) axes[2].imshow(pred[0, 0], cmapgray) axes[2].set_title(Pred) plt.savefig(f{save_path}_{i}.png, dpi150) plt.close()阈值 0.5 不是固定的如果预测偏保守调到 0.4 能召回更多边界偏激进就调到 0.6。这个阈值要在验证集上扫一遍别拍脑袋。5. 避坑与排查四模型对比里最容易翻车的五件事5.1 现象R2AUet 训练 loss 震荡不收敛原因学习率沿用了 Unet 的 1e-3R2AUet 参数量大梯度更新太猛。 解决学习率降到 3e-4 或 1e-4加 warmup 前 5 个 epoch 线性升温震荡基本消失。5.2 现象AttentionUnet 的 Dice 比 Unet 还低原因注意力门的F_int设得太大比如直接等于输入通道数导致注意力权重饱和skip connection 信息被压死。 解决F_int降到输入通道的 1/4 到 1/2重新训练Dice 一般能回到正常水平。5.3 现象R2Unet 显存溢出batch size 降到 1 还报 OOM原因循环次数 T 设了 3 或 4中间特征图反复保留显存占用翻倍。 解决T 降到 2或者把base从 64 降到 32。如果还不够用梯度检查点torch.utils.checkpoint换显存代价是训练慢 20% 左右。5.4 现象四个模型验证集 Dice 都卡在 0.5 左右上不去原因mask 二值化阈值不对或者归一化参数和数据集不匹配。医学图像里常见 mask 是 0 和 255除以 255 后是 0 和 1但如果 mask 是 0 和 128除以 255 后最大只有 0.5二值化全变 0。 解决先np.unique(mask)看 mask 里到底有哪些值再决定除以多少。别默认 255。5.5 现象测试集指标比验证集高很多原因测试集样本和训练集有重叠或者测试集太小波动大。 解决检查文件列表有没有重复测试集至少留 20% 且和训练集完全隔离。如果样本太少用交叉验证的均值加标准差报告别报单次结果。6. 进阶技巧把四模型对比做成可复用的消融框架跑通一次对比不难难的是每次改数据、改参数都要重跑一遍。我一般会把四个模型的构建、训练、评估封装成一个配置文件驱动的框架。配置文件里写模型名、学习率、batch size、T 值、注意力中间通道数主脚本读配置后自动跑完四个模型并汇总结果。这样下次换数据集只改数据路径和归一化参数模型对比一键出表。import yaml from easydict import EasyDict def load_config(path): with open(path, r) as f: cfg EasyDict(yaml.safe_load(f)) return cfg # config.yaml 示例 # models: [unet, attention_unet, r2unet, r2auet] # lr: {unet: 1e-3, attention_unet: 1e-3, r2unet: 5e-4, r2auet: 3e-4} # base: 32 # T: 2 # img_size: 256 # batch_size: 8 # epochs: 50另一个技巧是固定随机种子。四个模型如果种子不同涨点可能只是随机波动。我一般设torch.manual_seed(42)、np.random.seed(42)、random.seed(42)并且把 cuDNN 的 benchmark 关掉torch.backends.cudnn.benchmark False保证每次跑结果可复现。如果显存够每个模型跑三个种子取均值报告里写均值±标准差比单次结果可信得多。验证方法上除了 Dice 和 IoU我还会看边界区域的指标。把真实 mask 做一次形态学膨胀和腐蚀取差集得到边界带只在这个区域算 Dice。有些模型整体 Dice 高但边界带 Dice 低说明它只是把大块区域分对了边界根本没学好。这个指标对医学图像尤其重要边界差几个像素临床意义可能完全不同。最后说个我自己的习惯每次跑完四个模型先把 R2AUet 的预测结果和 Unet 的预测结果做差值图看涨点集中在哪些区域。如果涨点集中在边界说明注意力和残差循环确实在起作用如果涨点分散在全图可能是参数量大了之后过拟合训练集换数据集未必能复现。这个差值图比指标表更能告诉你「这个改进值不值得上」。希望帮到你。本文还有配套的精品资源点击获取