图像质量评价三件套：BRISQUE、RankIQA、NIMA原理与落地实战

简介这是一份面向图像处理与计算机视觉研究者的经典图像质量评价算法代码包完整收录BRISQUE、RankIQA、NIMA等无参考评估模型覆盖从传统统计特征到深度学习的典型技术路线可用于图像压缩优化、视频传输监控和增强效果评估等场景。压缩包共821个文件、约155.08MB以Python、MATLAB、C源码为核心辅以jpg/bmp测试图、mex编译组件、模型配置、txt说明文档及PDF参考资料方便不同开发环境下的研读与复现。目前已有8680人学习下载在领域内具有较高的参考热度。其中BRISQUE部分展示自然场景统计直方图特征与质量映射流程RankIQA提供基于图像块局部排名的不参考质量预测实现NIMA则给出CNN特征提取加MLP分数回归的完整深度学习方案包内还配有测试图像、预训练模型和libsvm依赖组件既适合初学者按示例熟悉测评流程也能供资深开发者直接嵌入现有系统。1. 图像质量评价算法三件套BRISQUE、RankIQA、NIMA 能解决什么做图像质量评价的都知道给一批图打分这件事看着简单真做起来全是坑。我之前在某公司做数据清洗每天要筛几千张用户上传的图片人工打分慢而且两个人打出来的结果还打架。后来把 BRISQUE、RankIQA、NIMA 三套经典算法的代码陆续跑通才算把这条链路串起来。这三套算法代表了三种完全不同的技术路线BRISQUE 是无参考质量评价里最经典的轻量方案不需要任何标注RankIQA 用排序学习绕开绝对分标注适合只有“这张比那张好”这类偏好的场景NIMA 则用深度网络直接建模人类评分的分布。这篇文章按落地顺序把三套算法的原理、跑通步骤、参数设置和踩坑点讲清楚新手能照着复现熟手能直接拿去搭批量筛选链路。2. 三套算法的原理与选型为什么无参考、排序学习、分布预测要分开选2.1 BRISQUE自然场景统计与 SVR 回归BRISQUE 是 Blind/Referenceless Image Spatial Quality Evaluator全称里的 Referenceless 就是它的核心定位不需要原始参考图。它的做法是先把图像做局部均值减除与对比度归一化MSCN得到近似零均值、单位方差的系数图。自然图像在 MSCN 域里的统计分布服从广义高斯分布失真会改变这些分布的形状参数和方差。BRISQUE 的做法是提取 MSCN 系数以及相邻像素乘积系数的分布特征每个图像得到一组 18 维或 36 维特征再训练 SVR 把特征回归到主观质量分数上。选它做首选的核心理由有三个第一是完全无参考适合没有原始图的批量数据清洗第二是计算量小CPU 上单张 512×512 图像的特征提取通常只要几十到几百毫秒能扛住每日几万张的循环第三是稳定性好对亮度偏移、内容差异不太敏感。它的问题在于对某些结构化失真不敏感而且输出是“全局质量”而非局部质量图想定位哪块区域质量差它帮不上忙。所以它的定位是初筛和打点不是精细质检。2.2 RankIQA用相对排序绕开绝对分标注RankIQA 解决的痛点是主观质量分MOS标注成本太高。让三个人给 1000 张图打 1 到 5 分光校准标准就要吵半天但如果只是问“这两张哪张更清晰”标注员几乎不需要思考一致性也高很多。RankIQA 的思路就是利用这种相对偏好对同一张干净原图施加不同失真类型和不同强度的失真构造大量“同一内容、不同质量”的图像对再训练孪生网络去判断哪张质量更好。在架构上两个输入共享同一个骨干网络各自输出质量分数用排序损失促使分数关系符合标注的偏好。排序学习阶段完成后网络已经具备质量语义的特征表示再在有少量绝对 MOS 标注的小数据集上微调把相对分数映射到绝对质量尺度上。它适合图像增强、超分、压缩等“有原始图可生成失真”的场景也适合业务里能低成本拿到大量排序偏好数据的场景。它的边界在于如果失真类型覆盖不足网络容易学到“是否被某种失真处理过”的捷径而不是真正的质量感知。2.3 NIMA从分布预测到期望分数NIMANeural Image Assessment是另一种思路不直接回归分数而是让网络输出一个 10 档评分分布每一档对应 1 到 10 分用 softmax 得到概率再用加权期望得到最终的 MOS。它的过人之处是“分布”本身携带信息。比如两张图期望都是 6 分一张是大家一致打 6 分另一张是有人打 2 分有人打 10 分后者在筛选里显然要冒更大风险。NIMA 的损失函数用的是 EMLEarth Movers Loss计算的是预测分布与真实分布之间的累计距离比直接对期望值做 L2 回归更容易在分布上对齐。选 NIMA 的时机通常是对质量“品味”要求更高的场景构图、美学、光照氛围以及和人类评分分布的相关性。它对数据要求也更高需要足够多的真实 MOS 分布标注否则很容易过拟合。同时在推理阶段它比 BRISQUE 重不少一张 224×224 的图在普通 GPU 上能跑几十毫秒但在 CPU 上就得接受慢一点的现实。它的输出范围是 1 到 10越大越好和 BRISQUE 正好相反做统一排序前必须先做尺度对齐。2.4 三套算法怎么选一张表说清楚算法是否有参考图输出分数含义标注成本推理速度典型场景BRISQUE无参考0~100越大越差无需标注极快CPU批量初筛、数据清洗打点RankIQA训练时无参考相对排序分数无绝对边界需要排序对中孪生网络推理图像增强、超分、压缩前后对比NIMA无参考1~10越大越好需要 MOS 分布较慢GPU 友好美学评分、质量分布评估选择顺序上我一般会这样判断如果只是给图库按清晰度分层先用 BRISQUE 跑全量成本最低如果需要比较“同一场景处理前后谁更好”用 RankIQA 的排序能力最直接如果业务强调美学与主观体验且有人力标注分布数据再上 NIMA。三套算法并不冲突实际落地里常把 BRISQUE 当前置粗筛、NIMA 做精品排序、RankIQA 做效果对比。3. 把 BRISQUE 跑起来OpenCV 与 Python 两种路径的最小命令3.1 环境准备装对 OpenCV 版本BRISQUE 在很多地方以 MATLAB 代码出现但在 Python 生态里最省事的是 OpenCV 的 quality 扩展模块。这里必须先提醒常规 pip install opencv-python 是不带这个模块的必须用 opencv-contrib-python。安装命令pip install opencv-contrib-python numpy装完之后在 Python 里验证python -c import cv2; print(cv2.quality is not None)输出 True 说明 quality 模块可用。另一个常用的库是 piq它实现了更多 IQA 算法和训练工具但 BRISQUE 这个点上 OpenCV 的实现最轻、依赖最少。我一般会优先用 OpenCV除非后面要和其他深度特征一起做集成排序。MATLAB 官方实现虽然也有但要装整套 MATLAB 运行时在服务端做定时任务很不划算。3.2 模型文件与最小推理代码BRISQUE 的 OpenCV 实现需要两个模型文件一个是 SVR 模型文件通常后缀是 .model另一个是特征归一化用的 range 文件通常后缀是 .range。这两个文件从 BRISQUE 的官方发布页获取后放在本地固定目录。拿到之后最小推理代码是这样的import cv2 import numpy as np MODEL_PATH ./brisque_model_live.yml RANGE_PATH ./brisque_range_live.yml def brisque_score(image_path: str) - float: # 读取图像BRISQUE 内部按 RGB 处理OpenCV 默认读进来是 BGR img_bgr cv2.imread(image_path) if img_bgr is None: raise ValueError(f无法读取图像: {image_path}) # 统一尺寸短边缩放到 256避免分辨率不同带来的偏差 h, w img_bgr.shape[:2] short_side min(h, w) scale 256.0 / short_side if scale 1.0: img_bgr cv2.resize(img_bgr, (int(w * scale), int(h * scale))) img_rgb cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB) img_rgb img_rgb.astype(np.float32) / 255.0 # 创建 BRISQUE 评估器并计算分数 evaluator cv2.quality.QualityBRISQUE.create(MODEL_PATH, RANGE_PATH) score evaluator.compute(img_rgb)[0] return score if __name__ __main__: print(brisque_score(test.jpg))这段代码里最关键的两点一是转 RGB二是把像素值归一化到 0 到 1。OpenCV 的 quality 模块内部对输入特征的统计依赖这个范围直接拿 0 到 255 的 BGR 图进去特征分布会整体偏移分数也就不稳定。resize 到 256 是为了让不同分辨率的图在 MSCN 统计上有可比性但这一步不是官方强制而是我个人的预处理习惯。compute 返回的是一个长度为 1 的数组取 [0] 就是最终分数。BRISQUE 原始分数范围大约在 0 到 100分数越高表示质量越差和直觉相反后面做排序时需要反转。模型文件放好后建议先跑一张已知结果的图做冒烟测试比如一张明显清晰的图和一张加了高斯模糊的图确认前者的分数确实更低。这一步能快速排查模型文件路径错误、通道顺序错误这类低级问题。如果两张图分数一样大概率是模型文件没加载成功OpenCV 在 create 阶段不报错只有 compute 结果才能暴露问题。3.3 批量处理与分数归一化实际业务里几乎不会单张调用都是对一批图循环打分。下面的代码会把目录里所有 jpg/png 的结果写成一个 CSVimport os import csv import cv2 import numpy as np def batch_brisque(folder: str, output_csv: str): model_path ./brisque_model_live.yml range_path ./brisque_range_live.yml evaluator cv2.quality.QualityBRISQUE.create(model_path, range_path) rows [] for name in os.listdir(folder): ext name.lower().rsplit(., 1)[-1] if ext not in (jpg, jpeg, png): continue path os.path.join(folder, name) img cv2.imread(path) if img is None: continue h, w img.shape[:2] scale min(1.0, 256.0 / min(h, w)) if scale 1.0: img cv2.resize(img, (int(w * scale), int(h * scale))) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB).astype(np.float32) / 255.0 raw_score evaluator.compute(img)[0] # 把“越大越差”转成“越大越好”业务里更好用 goodness max(0.0, 100.0 - raw_score) rows.append([name, round(raw_score, 4), round(goodness, 4)]) with open(output_csv, w, newline) as f: writer csv.writer(f) writer.writerow([filename, brisque_raw, goodness_100]) writer.writerows(rows) print(f完成共处理 {len(rows)} 张图结果写入 {output_csv}) batch_brisque(./images, ./brisque_scores.csv)这里把原始分数原样保留一列又加了一列反转后的分数方便下游要么按差排序、要么按好排序。goodness 用 100 - raw_score 只做线性反转不改变分布形状如果业务想压缩到某个区间可以再做 min-max 归一化但那样跨批次比较就不公平了。参数上唯一需要调的是缩放尺寸 256如果图像本来就是小图scale 会小于 1我直接跳过放大避免对放大插值的依赖。两张语义完全不同的图在 BRISQUE 上直接比分数仍然有风险但在同一批同源数据里做粗筛这个方案足够稳。3.4 BRISQUE 的两个经典误用BRISQUE 不是黑匣子但它的特征统计决定了几件事不能乱来。第一不能拿不同分辨率的图像直接比分数MSCN 系数在缩放后统计特性会变化同一张图 512 和 256 算出来的分数差经常超过 10 分。第二不能指望它识别局部缺陷它是全局统计特征一张图只有角落糊掉、主体很锐BRISQUE 通常会给一个不错的分必须配合人脸检测或其他区域分析才能做细节质检。这两个误用我都在项目里亲眼见过最后都是靠统一预处理和调整预期指标解决的。4. 复现 RankIQA排序对构造、孪生网络训练与分数映射4.1 排序对构造从原图生成多级失真RankIQA 的数据基础是“同一内容、不同质量”的图像对。最常见的构造方法是在一张干净原图上施加三种失真——高斯噪声、高斯模糊、JPEG 压缩每种失真再取多个强度等级。这样一张原图能产生几十对“哪张更好”是确定答案的排序对。下面这个函数用 OpenCV 生成失真图并打上质量标签import cv2 import numpy as np def generate_distorted(img: np.ndarray, dist_type: str, level: float) - np.ndarray: 生成指定类型和强度的失真图像。level 越大质量越差。 if dist_type noise: noise np.random.normal(0, level * 255.0 / 100.0, img.shape).astype(np.float32) return np.clip(img.astype(np.float32) noise, 0, 255).astype(np.uint8) if dist_type blur: ksize max(5, int(level * 7) // 2 * 2 1) # 保证奇数 return cv2.GaussianBlur(img, (ksize, ksize), 0) if dist_type jpeg: quality max(5, int(100 - level * 10)) encode_param [int(cv2.IMWRITE_JPEG_QUALITY), quality] _, enc cv2.imencode(.jpg, img, encode_param) return cv2.imdecode(enc, cv2.IMREAD_COLOR) raise ValueError(f未知失真类型: {dist_type}) img cv2.imread(clean.png) levels [1, 3, 5, 7] # 质量从好到差 for lv in levels: cv2.imwrite(fnoise_{lv}.png, generate_distorted(img, noise, lv))这里 level 的含义是“失真强度”我习惯把噪声方差、模糊核尺寸、JPEG 质量压缩都映射到同一个 1 到 10 的标尺上方便后面构造排序对时只比较等级大小。构造排序对的原则是同一个原图派生出来的两张失真图才能组成一对因为网络需要先忽略内容差异、只比较质量差异。直接用两张不同内容的图组对网络会偷懒去学内容分类。4.2 孪生网络与排序损失排序阶段我一般用 PyTorch 实现一个共享权重的孪生网络骨干用 ResNet18 就够输出层换成单个神经元作为质量分数。核心结构如下import torch import torch.nn as nn import torchvision.models as models class SiameseQuality(nn.Module): def __init__(self, base_name: str resnet18): super().__init__() # 骨干网络去掉最后的分类层改为输出单值质量分 base models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) self.backbone nn.Sequential(*list(base.children())[:-1]) self.fc nn.Linear(512, 1) def forward(self, x1: torch.Tensor, x2: torch.Tensor): # 两个输入共享同一套权重 f1 self.backbone(x1).flatten(1) f2 self.backbone(x2).flatten(1) return self.fc(f1).squeeze(1), self.fc(f2).squeeze(1) model SiameseQuality() margin_rank_loss nn.MarginRankingLoss(margin1.0)训练时对每一对 (x_a, x_b)如果 x_a 比 x_b 清晰target 就设为 1损失会推动 s_a 比 s_b 高出一个 margin。MarginRankingLoss 的公式是 max(0, -target * (s_a - s_b) margin)当 target1 时就是要求 s_a - s_b margin 才不惩罚当 target-1 时则相反。batch 里我一般混合多种失真类型让网络在噪声、模糊、压缩这几条轴上都能学到排序。学习率从 1e-4 起步比常规分类任务要小因为单神经元回归头对梯度更敏感。还有一个关键点输入图像统一缩放到 224×224crop 和 flip 这类数据增强可以用但要保证同一对的两个输入做完全相同的变换否则会引入额外的不公平。4.3 从排序预训练到绝对分回归排序阶段结束后网络已经知道“哪种处理更伤质量”但分数没有绝对刻度7 分和 -3 分只是相对大小。要得到类似 MOS 的绝对分需要在一个小规模的真实评分数据集上微调回归头class QualityRegressor(nn.Module): def __init__(self, siamese: SiameseQuality): super().__init__() # 复用排序阶段学到的骨干 self.backbone siamese.backbone self.fc nn.Linear(512, 1) def forward(self, x: torch.Tensor) - torch.Tensor: f self.backbone(x).flatten(1) return self.fc(f).squeeze(1) # 冻结骨干只训练回归头避免小数据量下灾难性遗忘 regressor QualityRegressor(model) for p in regressor.backbone.parameters(): p.requires_grad False # 之后用 nn.MSELoss 在 MOS 标注上训练这一步是 RankIQA 里被很多人忽略的关键排序预训练只是预热绝对尺度必须靠微调拿回来。微调时先冻结骨干训练 fc 层几百个 step等损失不再下降再解冻骨干、把学习率降到 1e-5 继续几十个 step。这个小技巧能明显减小灾难性遗忘。真实项目中我见过不少人跳过排序预训练直接回归结果 MOS 误差比预训练版本高 20% 左右所以这一步不要省。4.4 推理时的分数对齐RankIQA 推理时两张图分别过骨干和 fc 得到两个标量可以直接比较相对质量。如果业务需要一个绝对分数我会留一个“锚定集”拿 30 张覆盖好中差的人工评分图每次上线前先跑一遍用 min-max 把推理分数映射到 0 到 100再套到业务阈值上。锚定集要固定不换否则分数会漂。这一步虽然土但在没有标准分基准时是唯一的后悔药比直接拿无界分数设阈值稳得多。5. BRISQUE、RankIQA、NIMA 复现避坑五条血泪经验5.1 BRISQUE 分数与主观观感相反现象一张明显模糊的图 BRISQUE 打出 35 分原图反而打出 60 分按分数排序后结果和人工完全相反。 原因OpenCV 的 QualityBRISQUE 期望输入是 RGB 顺序、0 到 1 范围而 cv2.imread 默认 BGR、0 到 255。特征完全错位后 SVR 输出自然失真另一个常见原因是两张图分辨率差异太大。 解决统一走 3.2 节里的预处理流程BGR 转 RGB、除以 255、短边缩放到 256。改完后再跑同一个测试集排序基本能和人工一致。这个坑十次里有八次是这个原因。5.2 RankIQA 训练不收敛loss 在 0.6 上下抖动现象MarginRankingLoss 训练了几百个 steploss 不降模型输出的两个分数对所有输入几乎相同。 原因最常见的不是网络结构问题而是排序对构造出了问题——同一 batch 里混入了不同内容源的图对网络发现“内容不同”比“质量不同”更容易区分学不到质量语义。第二个原因是 margin 设得过大比如 2.0 以上模型很难把所有对都推开。 解决保证每个 pair 都来自同一张原图派生的不同失真margin 设在 0.5 到 1.0用 ImageNet 预训练权重初始化骨干。这三个条件都满足后loss 通常会在几百步内明显下降。5.3 NIMA 输出分布变成单点尖峰现象softmax 输出里某一档概率接近 1期望分数对所有图都一样完全没有区分度。 原因NIMA 的损失是 EML它计算的是预测分布与目标分布在累计分布上的 L1 距离。很多实现把 EML 写成了逐 bin 的 L1 或者对期望值做 MSE模型就会退化成输出一个固定分布。另外没有用预训练权重、从头训练小数据也会导致输出雪崩到某一档。 解决先检查 EML 实现里有没有做 cdf torch.cumsum(p, dim1) 再算 L1然后确认 backbone 用的是预训练权重最后把输出的 10 个 bin 的权重对应到 1 到 10 分用 sum(p * torch.arange(1, 11)) 算期望。这三件事都做对分布才会铺开。5.4 三套算法分数无法横向比较现象BRISQUE 分数 0 到 100 且越大越差NIMA 分数 1 到 10 且越大越好RankIQA 分数从 -5 到 8 都有。直接拼在一起算平均结果完全无意义。 原因三套算法输出尺度定义不同反转方向也不同拿来就用的逻辑必然翻车。 解决先定一个统一标准0 到 100、越大越好。BRISQUE 用 100 - rawNIMA 用 mean_score / 10 * 100RankIQA 用固定锚定集的 min-max 映射。转换后再做集成排序或画分布图才能保证业务指标可解释。5.5 同一张图换了个分辨率分数天差地别现象同一张图缩放到 224 和 512 分别跑 NIMA期望分数差出 0.8 分BRISQUE 差 15 分以上。 原因NIMA 的骨干网络是在固定 224×224 输入下训练的直接喂不同尺寸会进入没见过的感受野范围BRISQUE 的 MSCN 系数统计对尺度敏感缩放改变了相邻像素乘积的分布。 解决所有深度模型统一 resize 到 224×224BRISQUE 在 batch 级统一短边到 256。更重要的是业务上如果某一天决定更换输入分辨率必须重新在验证集上校准一次阈值不能沿用旧阈值。这个坑在长期维护的 pipeline 里特别容易踩因为代码没变、数据变了分数含义就变了。6. 落地进阶把三套算法合成一套质量排序 Pipeline6.1 用合成失真先做一次 sanity check三套算法都跑通后第一件事不是接业务而是拿一张干净图加不同强度的模糊和噪声验证三套算法的分数是否随失真强度单调变化。这一步可以暴露 80% 的预处理问题import cv2 import numpy as np def monotonic_check(clean_img): scores {brisque: [], nima: []} for level in [0, 2, 4, 6, 8]: dist cv2.GaussianBlur(clean_img, (5 2 * level, 5 2 * level), 0) scores[brisque].append(brisque_score_from_rgb(dist)) scores[nima].append(nima_score_from_rgb(dist)) # 检查排序相关性越模糊分数应越差 print(BRISQUE 单调性:, np.all(np.diff(scores[brisque]) 0)) print(NIMA 单调性:, np.all(np.diff(scores[nima]) 0))这里 brisque_score_from_rgb 和 nima_score_from_rgb 是各自封装好的评分函数。如果单调性不满足多半是预处理或分数方向的问题而不是算法本身的问题。合成了几十张验证图之后再进真实数据集心里的底气完全不同。6.2 集成排序平均排名比平均分数稳当三套算法的分数都统一到 0 到 100 后常见的做法是直接平均。但我更推荐先各自转成排名再对排名取平均。原因是 BRISQUE、RankIQA、NIMA 的分数分布形状差异很大有的偏态明显直接平均会被某一套算法的分布压缩效应带偏排名平均对分布形状不敏感只关心每个算法内部的相对位置。实现上就是对每套算法做一次 np.argsort得到排名向量再按图像取平均排名最后按平均排名输出业务优先级。这个技巧在数据清洗、推荐排序里都稳。6.3 上线前看一个指标Spearman 相关最后所有排序效果都要用带标签的数据验证。找业务方抽 200 张图做一轮人工评分然后算三套算法以及集成排序结果与人工评分之间的 Spearman 秩相关系数。用 scipy 一行代码就能算from scipy.stats import spearmanr # human_scores 是人工评分列表pred_scores 是算法输出 rho, p spearmanr(human_scores, pred_scores)如果集成排序的 rho 低于 0.7我不会着急调参而是先回头检查是不是预处理不一致、输入分辨率没统一或者人工评分本身标准太散。我最早在这个 pipeline 上翻车就是在这一步单独看每套算法 rho 都有 0.6 出头但集成后反而更低排查半天发现是 BRISQUE 的分数量纲没对齐修完之后集成排序的 rho 才冲到 0.8 附近。尺度和方向问题永远是集成前要先解决的事。希望帮到你。本文还有配套的精品资源点击获取