从泊松噪声到张正友标定：相机噪声模型与几何标定实战指南

1. 从一张“脏”图说起为什么你的相机需要被“标定”如果你拍过暗光照片或者用工业相机做过测量大概率遇到过两种让人头疼的情况一是画面里莫名其妙的噪点二是明明对着标定板拍算出来的尺寸却总差那么一点。这两个问题一个指向相机噪声模型一个指向相机标定。它们看起来是两个独立的话题但在计算成像的完整链路里其实是同一件事的两面——你只有先把相机的噪声特性摸清楚才知道标定结果的误差边界在哪里也只有把相机的几何参数标定准了噪声分析才有可靠的坐标基础。这一讲我打算把这三块内容串起来讲泊松噪声、光子转移曲线、张正友标定。前两个是噪声模型与标定的核心工具第三个是几何标定的经典方法。不管你是做机器视觉、计算摄影还是单纯想搞明白自己手里那台相机的极限在哪里这套东西都用得上。我会尽量少堆公式多讲“为什么这么做”和“实际怎么操作”把我在实验室和项目里踩过的坑一并倒出来。先给一个整体认知相机的噪声不是单一来源它至少包含光子到达的随机性泊松噪声、读出电路的电子噪声高斯噪声、以及固定模式噪声等。而光子转移曲线Photon Transfer Curve简称PTC是一套通过改变曝光量、统计均值与方差关系从而分离出增益、读出噪声、满阱容量等关键参数的方法。张正友标定则是用平面棋盘格通过多视角拍摄求解相机内参和畸变系数。三者结合你就能对一台相机的“几何精度”和“辐射精度”同时建立量化认识。2. 泊松噪声光子不是排队来的是随机砸过来的2.1 为什么噪声服从泊松分布很多人第一次接触泊松噪声会疑惑光不是连续的波吗怎么变成一个个离散事件了这里要回到光电转换的物理本质。光子打到传感器像素上被光电二极管吸收后激发电子这个过程是量子化的——一个光子最多激发一个电子在理想情况下。而光子到达像素的时间间隔是随机的服从泊松过程。所以在曝光时间T内一个像素收集到的光电子数N服从均值为λ的泊松分布P(Nk) (λ^k * e^(-λ)) / k!泊松分布有一个非常漂亮的性质方差等于均值。也就是说如果只考虑光子噪声那么信号的标准差等于信号的平方根。这就是为什么暗光下噪点看起来像“颗粒”——信号越弱相对波动越大。举个例子信号是100个电子噪声标准差约10个电子信噪比约10信号是10000个电子噪声标准差约100个电子信噪比约100。所以提高信噪比最直接的办法就是增加曝光量或增大像素面积。但实际相机不止有光子噪声。读出电路会引入与信号无关的加性噪声通常近似为高斯分布标准差记为σ_read。此外还有暗电流噪声、量化噪声等。所以一个像素输出的总方差可以写成σ_total² g * S σ_read²其中S是输出信号单位通常是DN数字量化值g是转换增益单位e-/DNσ_read是读出噪声单位e-。这个式子就是光子转移曲线的理论基础。2.2 泊松噪声在图像上的直观表现你可以做一个小实验把相机盖盖上拍一张全黑图再对着均匀光源拍一张中等亮度的图分别统计同一区域的均值和方差。你会发现暗图的方差基本不随位置变化接近读出噪声的平方亮图的方差则随均值线性增长。这个线性关系的斜率就是1/g截距就是σ_read²。这就是PTC方法的核心操作。注意统计方差时一定要选平坦区域避开边缘、纹理和坏点。我一般会取图像中心200×200的方块先做一次中值滤波剔除坏点再计算均值和方差。2.3 泊松噪声对计算成像的影响在计算成像里泊松噪声直接决定了你的重建算法能走多远。比如做单光子成像、压缩感知、或者低光增强如果你的前向模型里没有正确建模泊松噪声而是简单用了高斯噪声假设那么在极低光子数下重建结果会严重偏离。我见过不少论文在仿真时用高斯噪声一到真实数据就崩原因就在这里。正确的做法是在光子数低于约1000时必须用泊松模型高于这个量级高斯近似才逐渐成立。3. 光子转移曲线一台相机的“体检报告”3.1 PTC到底测什么光子转移曲线本质上是一条“方差-均值”曲线。横轴是信号均值DN纵轴是方差DN²。在读出噪声主导的低信号区方差基本不变在光子噪声主导的高信号区方差随均值线性增长。通过拟合这条曲线你可以得到三个关键参数转换增益g线性区的斜率倒数单位e-/DN。知道了g你就能把DN值换算成电子数进而计算量子效率、信噪比等。读出噪声σ_read低信号区方差的平方根单位e-。它决定了相机的暗光极限。满阱容量FWC曲线偏离线性的那个点对应的信号均值乘以g单位e-。超过这个值像素就饱和了。这三个参数是评价一台相机辐射性能的核心指标。比如两台相机一台读出噪声2e-另一台5e-在暗光下的表现差距会非常明显。3.2 实测PTC的完整步骤下面是我在实验室里常用的PTC测量流程适用于大多数工业相机和单反相机。你需要一个均匀光源、一个可以手动控制曝光时间的相机以及一台能读原始数据的电脑。第一步准备均匀光源。可以用积分球也可以用均匀背光板。关键是光源的均匀性要好中心区域的不均匀性最好小于2%。如果没有专业设备用一块毛玻璃盖在LED灯前距离相机足够远也能凑合。第二步固定相机参数。关闭自动增益、自动曝光、自动白平衡关闭降噪算法尤其是多帧降噪输出RAW格式。如果相机有暗电流抑制功能也一并关闭。这些自动功能会破坏方差与均值的原始关系。第三步采集一组不同曝光量的图像。从最短曝光开始逐步增加曝光时间直到图像接近饱和。一般取15到20个曝光点覆盖从暗到亮的整个范围。每个曝光点拍10到20帧用于统计方差。注意每帧之间要有足够的时间间隔避免传感器发热导致暗电流漂移。第四步计算每个曝光点的均值和方差。在每帧图像的中心区域取一个ROI计算所有帧在该ROI内的像素均值再计算每个像素在时间维度上的方差最后对所有像素的方差取平均。这样得到该曝光点的均值方差对。第五步拟合PTC曲线。用公式σ² g * S σ_read²对数据进行线性拟合。低信号区可能偏离线性可以只取光子噪声主导的区间做拟合。拟合得到g和σ_read后再找曲线开始偏离线性的点计算FWC。3.3 参数计算实例假设你测得一组数据拟合后得到斜率k 0.5 DN²/DN截距b 100 DN²。那么转换增益g 1/k 2 e-/DN读出噪声σ_read sqrt(b) 10 DN换算成电子数就是10 * 2 20 e-如果饱和点对应的均值是3000 DN那么FWC 3000 * 2 6000 e-这个结果说明该相机每DN对应2个电子读出噪声20个电子满阱6000个电子。你可以拿这些参数去计算不同光照下的信噪比判断它是否满足你的应用需求。实操心得拟合时一定要用原始DN值不要用经过gamma校正或JPEG压缩的数据。另外如果相机有14位ADC但输出是8位一定要找到原始位深的读取方式否则PTC会严重失真。3.4 常见坑与排查现象可能原因解决办法低信号区方差异常大暗电流噪声或固定模式噪声做暗场扣除或延长每帧间隔高信号区方差偏离线性像素饱和或非线性响应剔除饱和点检查相机是否开启压缩拟合斜率不稳定ROI内有坏点或纹理用中值滤波剔除坏点选更平坦的区域读出噪声算出来偏大量化噪声或读出电路噪声确认是否用了原始位深检查增益设置4. 张正友标定从棋盘格到内参矩阵4.1 为什么张正友标定这么经典在张正友之前相机标定通常需要三维标定物制作精度要求高操作也麻烦。张正友在1999年提出的方法只需要一个平面棋盘格从不同角度拍几张照片就能解出相机内参和畸变系数。它的巧妙之处在于利用平面标定板上已知的角点坐标建立单应性矩阵再通过旋转矩阵的正交约束求解内参。整个过程不需要知道标定板在空间中的精确位置只需要知道棋盘格上角点的相对关系。这个方法至今仍是OpenCV、MATLAB、ROS等工具链里的默认标定方案。你搜“张正友标定法”“相机标定”“d435i相机标定”“ros相机标定”“双目相机标定”出来的教程基本都是围绕它展开的。4.2 标定前的准备工作标定板选择。棋盘格是最常用的但也可以使用圆点阵列或Charuco板。棋盘格的角点检测精度高但对模糊和光照变化敏感Charuco板结合了棋盘格和ArUco标记鲁棒性更好适合低分辨率或大畸变镜头。我一般推荐至少打印A3大小的棋盘格方格边长25mm到30mm打印后贴在硬质平板上平整度误差要小于0.5mm。拍摄角度与数量。张正友方法要求至少3个不同视角但实际使用中我建议拍15到20张。视角要覆盖整个视场包括中心、四角、边缘。标定板在图像中要占足够大的面积一般建议占图像宽度的1/3到2/3。倾斜角度不要超过45度否则角点检测容易失败。光照与对焦。光照要均匀避免反光和阴影。标定板要完全对焦模糊会导致角点定位偏差。如果相机有自动对焦标定时要锁定焦距否则内参会变化。4.3 标定流程与核心计算第一步角点检测。对每张标定图用亚像素精度检测棋盘格角点。OpenCV里的findChessboardCorners和cornerSubPix是标准组合。检测完后最好把角点画出来人工检查一遍剔除检测错误的图。第二步建立单应性矩阵。对于每个视角棋盘格平面上的点(X, Y, 0)到图像点(u, v)的映射可以用单应性矩阵H描述[u, v, 1]^T H * [X, Y, 1]^TH K * [r1, r2, t]其中K是内参矩阵r1和r2是旋转矩阵的前两列t是平移向量。因为r1和r2正交且模相等所以可以得到两个约束h1^T * K^(-T) * K^(-1) * h2 0 h1^T * K^(-T) * K^(-1) * h1 h2^T * K^(-T) * K^(-1) * h2其中h1和h2是H的列向量。这两个约束就是求解内参的关键。第三步求解内参。令B K^(-T) * K^(-1)B是一个对称矩阵有6个未知数。每个视角提供两个方程所以至少需要3个视角。实际中会用更多视角做最小二乘。解出B后通过Cholesky分解得到K。第四步求解外参和畸变。得到K后每个视角的外参可以通过H和K计算。然后考虑径向畸变和切向畸变用最大似然估计优化所有参数。OpenCV的calibrateCamera函数会自动完成这一步。第五步评估标定质量。用重投影误差衡量。把标定板角点通过标定参数投影回图像计算与实际检测角点的距离。好的标定重投影误差应该在0.1到0.3像素之间。如果超过0.5像素说明标定有问题需要检查标定板平整度、角点检测精度或拍摄角度。4.4 双目标定与ROS中的实操双目相机标定在张正友方法基础上还需要标定两个相机之间的外参。流程是先分别标定左右相机的内参再通过同时拍摄标定板计算两个相机之间的旋转和平移。ROS里的camera_calibration包提供了完整的工具链支持单目和双目。以D435i为例它本身有出厂标定但如果你要自己做可以用ROS的camera_calibration。步骤是启动相机节点运行标定工具移动棋盘格直到采集足够样本然后点击校准。工具会输出内参、畸变系数和双目外参。注意D435i的RGB相机和深度相机是分开标定的深度相机的标定更复杂通常需要专门的深度标定工具。注意标定时的图像分辨率要和实际使用一致。如果你用640×480标定却用1280×720运行内参会不匹配。另外标定后要保存参数文件并在程序中正确加载。5. 噪声模型与标定的联合应用5.1 用PTC参数指导标定精度评估标定得到的重投影误差本质上受角点检测精度限制。而角点检测精度又受图像噪声影响。如果你知道相机的读出噪声和转换增益就可以估算角点定位的理论极限。比如读出噪声20e-角点检测的信噪比如果只有10那么定位标准差大约是0.1像素。这个估算可以帮助你判断标定结果是否已经达到相机极限。5.2 在计算成像中同时建模噪声与几何做三维重建或深度估计时几何标定给出像素与空间点的对应关系噪声模型给出每个像素的置信度。两者结合才能做加权最小二乘或最大似然估计。比如在光束法平差中如果给每个观测点赋予与噪声方差成反比的权重重建精度会明显提升。我试过在低光双目重建中引入泊松噪声权重深度图的空洞和飞点减少了约30%。5.3 常见问题速查问题排查方向解决建议标定重投影误差大标定板不平、角点检测错、视角太少换硬质标定板人工检查角点增加视角双目标定后深度不准外参不准、同步问题、畸变未校正重新标定外参检查硬件同步先做畸变校正PTC拟合不线性自动增益未关、数据位深不对关闭所有自动功能读取原始RAW暗光噪声比预期大暗电流、读出噪声高、增益设置做暗场扣除降低增益检查制冷6. 我踩过的那些坑第一次做PTC时我用了相机的JPEG输出结果曲线乱七八糟。后来才知道JPEG经过gamma校正和压缩方差与均值的关系完全变了。第二次我用了RAW但忘了关自动增益低信号区的方差被增益放大读出噪声算出来偏大好几倍。第三次终于对了但ROI选在了有纹理的区域方差被纹理污染。这些坑让我明白做噪声测量一定要控制变量用最原始的数据。张正友标定我也翻过车。有一次标定板打印后没贴平中间鼓起来一点重投影误差始终在0.8像素下不去。换了一块铝基板后直接降到0.15像素。还有一次用ROS标定双目标定板移动太快图像模糊角点检测失败了一半。后来放慢速度每张图都检查角点才得到稳定结果。最后分享一个小技巧标定完成后不要只看重投影误差还要用标定参数去校正一张实际场景图看看直线是否变直、尺寸是否合理。这是最直观的验证。噪声模型也一样算完参数后用它们去预测不同曝光下的信噪比再和实测对比如果吻合说明模型可靠。这套东西后续还可以扩展比如用PTC参数做噪声感知的图像去噪或者把标定参数和噪声模型一起放进SLAM系统里做不确定性传播。计算成像的乐趣就在于你把每个环节都量化清楚后整个系统的行为就变得可预测、可优化了。