张正友标定法原理与实战：从棋盘格到相机内参的完整推演

简介：本资源是面向计算机视觉初学者与工程实践者的张正友摄像机标定法完整学习包，聚焦相机内参、外参及畸变系数的原理推导、MATLAB实现与实操验证。资源共27个文件，涵盖10个核心MATLAB脚本（如Zhang.m、homography2d1.m、normalise2dpts.m等，用于单应性计算、坐标归一化与标定求解）、9个文本说明文件（含read me.txt、Model.txt及多组data*.txt标定数据）、7个ASV备份脚本，以及1篇CAJ格式原始论文《基于单平面模板的摄像机定标研究》，全面支撑从理论理解到代码调试的闭环学习。压缩包仅85KB，轻量易用，结构清晰，关键函数模块分离明确，便于逐层剖析标定流程。目前已有505人学习下载，读者可直接复现角点检测、单应矩阵估计、非线性优化求解及畸变校正全过程，并获得原始论文参考与PUDN社区链接拓展资源。

1. 张正友标定法：为什么一张打印的棋盘格纸，就能让相机“睁开眼睛看清世界”？

你可能试过用手机拍一张打印在A4纸上的棋盘格图案，然后跑几行Python代码，就得到一串叫“内参矩阵”和“畸变系数”的数字——它们看起来像黑匣子，却能让后续所有三维重建、AR贴图、机器人导航稳稳落地。这不是玄学，而是张正友标定法在真实世界里最朴素也最硬核的落地：它不依赖精密转台、不需激光干涉仪，甚至不需要知道相机移动了多少毫米，仅靠2D图像上角点坐标的几何约束，就能反推出相机内部光学结构的数学模型。这个方法之所以二十年不衰，并非因为“够用”，而是因为它把成像几何的不可观测性（焦距、主点、畸变）转化成了可求解的线性+非线性联合优化问题，且对初始值鲁棒、对噪声容忍、对普通开发者友好。搞懂它，不是为了复现一篇论文，而是为了在你调试双目深度估计翻车时，能一眼看出是畸变没校正干净，还是主点偏移导致极线不直；是为了在嵌入式端资源受限时，敢砍掉迭代优化环节，用闭式解扛住实时帧率。它是一把打开计算机视觉物理世界大门的钥匙，而钥匙齿纹，就刻在那张被拍歪了、起皱了、还带点阴影的棋盘格照片里。

2. 成像几何建模：从针孔投影到真实镜头——为什么必须引入畸变参数？

张正友标定法的起点，不是代码，而是对“相机如何把3D世界变成2D图像”这一过程的精确数学刻画。它没有跳过物理本质，而是层层剥开理想与现实的差距。

2.1 针孔模型：一切的起点与局限

理想相机遵循针孔成像：空间点 $P = [X, Y, Z]^T$ 经过中心投影，落在归一化图像平面上的点为 $p = [x, y, 1]^T = [X/Z, Y/Z, 1]^T$。再经由相机坐标系到像素坐标系的仿射变换（缩放+平移），得到最终像素坐标：

$$ \begin{bmatrix} u \ v \ 1 \end{bmatrix}

\begin{bmatrix} f_x & 0 & c_x \ 0 & f_y & c_y \ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} x \ y \ 1 \end{bmatrix}

K \cdot p $$

其中 $K$ 就是内参矩阵：$f_x, f_y$ 是以像素为单位的等效焦距（反映传感器尺寸与镜头焦距的耦合），$c_x, c_y$ 是主点（光轴与图像平面的交点，在理想情况下应是图像中心，但制造公差会让它偏移）。这个模型简洁优美，但它隐含一个致命假设：光线严格沿直线传播，无任何弯曲。

提示：这里的 $f_x, f_y$ 不是镜头标称焦距（如50mm），而是“等效焦距”，单位是像素。它等于物理焦距（mm）× 传感器单个像素的物理尺寸（mm/pixel）的倒数。所以同一镜头装在不同分辨率/传感器尺寸的相机上，$f_x, f_y$ 完全不同。

2.2 真实镜头的背叛：径向与切向畸变

现实镜头是透镜组，存在光学缺陷。最显著的是径向畸变（Radial Distortion）：离光轴越远的光线，弯曲越严重，导致图像产生“桶形”（广角）或“枕形”（长焦）变形。其数学模型由Brown-Conrady模型描述：

$$ \begin{aligned} x_{\text{dist}} &= x (1 + k_1 r^2 + k_2 r^4 + k_3 r^6) + 2 p_1 x y + p_2 (r^2 + 2 x^2) \ y_{\text{dist}} &= y (1 + k_1 r^2 + k_2 r^4 + k_3 r^6) + p_1 (r^2 + 2 y^2) + 2 p_2 x y \end{aligned} $$

其中 $r^2 = x^2 + y^2$，$k_1, k_2, k_3$ 是径向畸变系数，$p_1, p_2$ 是切向畸变系数（源于透镜与图像平面不完全平行，即镜头装配倾斜）。注意：这里 $x, y$ 是归一化平面坐标（无量纲），$x_{\text{dist}}, y_{\text{dist}}$ 是畸变后的归一化坐标。整个成像链变为：

$$ \text{3D Point } P \xrightarrow{\text{Extrinsic}} \text{Normalized } p \xrightarrow{\text{Distortion}} p_{\text{dist}} \xrightarrow{K} \text{Pixel } (u, v) $$

张正友法的伟大之处，在于它没有回避这5个（或更多）畸变参数的非线性本质，而是设计了一套分阶段策略：先用纯旋转约束求解线性部分（$K$ 和前两步外参），再用这些结果作为初值，非线性优化全部参数。这使得它既保持了数学严谨性，又具备工程可用性。

2.3 为什么棋盘格是“最优解”？角点的几何特权

张正友法要求标定板是平面（如打印的棋盘格），且其上特征点（角点）在世界坐标系中位置已知（例如设左下角为原点，格子边长为1单位）。这带来了两个关键优势：

1. 消除了Z轴自由度：平面标定板意味着所有角点满足 $Z=0$。代入齐次坐标下的投影方程 $s \cdot [u, v, 1]^T = K [R|t] \cdot [X, Y, 0, 1]^T$，可将外参 $[R|t]$ 拆解为两列向量 $r_1, r_2$（对应旋转矩阵的前两列）和 $t$（平移向量）。这使单张图像的约束从6自由度降为4自由度（$r_1, r_2, t$），大幅降低求解难度。
2. 提供高精度、高对比度、亚像素可定位的特征：棋盘格角点是两条直线的交点，边缘清晰，算法（如OpenCV的cornerSubPix）能将其定位到0.1像素以内。相比之下，圆点、二维码等虽也可用，但角点在几何约束的构建上更直接、更少歧义。

因此，一张棋盘格，本质上是一个已知几何结构的、高精度的2D-3D对应关系发生器。它把抽象的“相机内参”问题，锚定在了可测量、可重复、可验证的物理平面上。

3. 核心算法推演：从单张图像的约束到全局最优解

张正友标定法的精妙，在于它将一个高度非线性、高维度的优化问题，拆解为三个逻辑严密、计算高效的阶段。这不是黑箱调包，而是每一步都可追溯、可验证的数学推导。

3.1 第一阶段：单应矩阵 $H$ 的闭式求解（线性）

给定一张标定板图像，我们检测出 $n$ 个角点的像素坐标 ${ (u_i, v_i) }$，并已知它们在世界坐标系中的对应3D坐标 ${ (X_i, Y_i, 0) }$（因 $Z=0$，故为2D）。目标是找到一个单应矩阵 $H$，使得： $$ s_i \begin{bmatrix} u_i \ v_i \ 1 \end{bmatrix} = H \begin{bmatrix} X_i \ Y_i \ 1 \end{bmatrix}, \quad i = 1, ..., n $$ 其中 $H$ 是一个 $3 \times 3$ 的非奇异矩阵，包含了该张图像对应的旋转和平移信息（具体为 $H = K [r_1, r_2, t]$）。这是一个典型的齐次线性方程组。将上式展开，消去尺度因子 $s_i$，可得两个独立的线性方程： $$ \begin{aligned} u_i (h_{31} X_i + h_{32} Y_i + h_{33}) &= h_{11} X_i + h_{12} Y_i + h_{13} \ v_i (h_{31} X_i + h_{32} Y_i + h_{33}) &= h_{21} X_i + h_{22} Y_i + h_{23} \end{aligned} $$ 将所有 $n$ 个点的方程堆叠，形成一个 $2n \times 9$ 的矩阵 $A$ 和一个 $9 \times 1$ 的未知向量 $h = [h_{11}, h_{12}, ..., h_{33}]^T$： $$ A h = 0 $$ 这是一个齐次方程，其非零解即为 $A$ 的最小奇异值对应的右奇异向量（SVD求解）。这就是著名的DLT（Direct Linear Transform）算法。它能在毫秒级内，仅凭4个及以上角点，求出单张图像的 $H$。这是整个流程的基石，也是它鲁棒性的来源——SVD对噪声有天然的低通滤波效应。

3.2 第二阶段：内参矩阵 $K$ 的闭式求解（线性）

现在，我们有了多张图像（至少2张，通常10-20张）各自对应的单应矩阵 ${H_1, H_2, ..., H_n}$。关键洞察来了：每个 $H_i$ 都可以分解为 $H_i = K [r_1^{(i)}, r_2^{(i)}, t^{(i)}]$。令 $h_i^{(1)}, h_i^{(2)}$ 分别为 $H_i$ 的第一列和第二列向量，则有： $$ \begin{aligned} h_i^{(1)} &= \lambda_i K r_1^{(i)} \ h_i^{(2)} &= \lambda_i K r_2^{(i)} \end{aligned} $$ 其中 $\lambda_i$ 是一个尺度因子（因 $r_1, r_2$ 是单位正交向量，但 $h_i^{(1)}, h_i^{(2)}$ 的模长未知）。利用 $r_1$ 和 $r_2$ 的正交性（$r_1^T r_2 = 0$）和单位长度（$r_1^T r_1 = r_2^T r_2 = 1$），可以推导出关于 $K$ 的约束。定义 $B = K^{-T} K^{-1}$，这是一个对称正定矩阵，其元素 $b_{ij}$ 与 $K$ 的元素相关。通过代入，可得到一个关于 $b_{ij}$ 的线性方程： $$ h_i^{(1)T} B h_i^{(2)} = 0 \quad \text{(正交性)} \ h_i^{(1)T} B h_i^{(1)} = h_i^{(2)T} B h_i^{(2)} \quad \text{(等长性)} $$ 将所有图像的约束堆叠，再次形成一个齐次线性方程组 $V b = 0$，其中 $b = [b_{11}, b_{12}, b_{22}, b_{13}, b_{23}, b_{33}]^T$（共6维，因 $B$ 对称）。求解 $V$ 的最小奇异值向量，即可得到 $b$，进而通过Cholesky分解（或直接解析公式）解出 $K$。这一步完全线性，无需迭代，是张正友法计算效率的核心。

3.3 第三阶段：外参与畸变的非线性优化（Levenberg-Marquardt）

有了 $K$，就可以为每张图像计算其对应的旋转和平移： $$ \begin{aligned} \lambda_i &= 1 / |K^{-1} h_i^{(1)}| \ r_1^{(i)} &= \lambda_i K^{-1} h_i^{(1)} \ r_2^{(i)} &= \lambda_i K^{-1} h_i^{(2)} \ r_3^{(i)} &= r_1^{(i)} \times r_2^{(i)} \ t^{(i)} &= \lambda_i K^{-1} h_i^{(3)} \end{aligned} $$ 此时，所有参数的初值均已获得。最后一步，是将所有参数（$K$ 的5个元素 + 径向畸变 $k_1,k_2$ + 切向畸变 $p_1,p_2$，共9个）放入一个非线性优化器（通常是Levenberg-Marquardt算法），最小化重投影误差（Reprojection Error）： $$ \min_{K, \mathbf{k}, \mathbf{p}, {R_i, t_i}} \sum_{i=1}^{N} \sum_{j=1}^{M} \left| (u_{ij}, v_{ij}) - \pi(K, \mathbf{k}, \mathbf{p}, R_i, t_i; X_j, Y_j, 0) \right|^2 $$ 其中 $\pi(\cdot)$ 是完整的带畸变的投影函数，$(u_{ij}, v_{ij})$ 是第 $i$ 张图像中第 $j$ 个角点的观测值。LM算法在“高斯牛顿法”（快速但易发散）和“梯度下降法”（慢但稳定）之间自适应切换，确保在初值良好的前提下，快速收敛到全局最优解。这一步虽然耗时，但只执行一次，且结果决定了最终精度。

4. 实战避坑指南：那些让标定结果“看起来很美，用起来就崩”的典型陷阱

张正友标定法理论完美，但落地时，90%的失败并非源于算法本身，而是源于对物理世界和数据质量的误判。以下是某实验室在部署10+套工业视觉系统过程中，用真金白银踩出来的5条血泪经验。

4.1 现象：标定后重投影误差极小（<0.1像素），但用标定结果做三维测量，误差高达几毫米

原因：标定板平面性被严重破坏。打印在普通A4纸上，受潮、弯折、甚至只是放在不平整的桌面上，都会导致角点实际不在同一平面上。而算法强制假设 $Z=0$，所有误差被“吸收”进内参和畸变系数，造成系统性偏差。
解决：使用刚性标定板。实验室最终统一采购铝基板蚀刻的棋盘格，厚度2mm，平面度<0.02mm。若必须用打印件，务必将其绷紧固定在玻璃板或金属板上，并用游标卡尺确认四角是否共面。

4.2 现象：不同角度拍摄的图像，标定出的焦距 $f_x$ 值波动超过5%

原因：相机自动曝光（AE）或自动白平衡（AWB）在不同光照下动态调整，导致图像亮度、对比度剧烈变化，影响角点检测的稳定性。暗处角点模糊，算法倾向于将其定位在“亮区中心”，而非真实几何中心。
解决：全程关闭AE/AWB，手动锁定曝光参数。在标定前，用一张图像手动调整至角点边缘锐利、灰度过渡清晰，然后锁定ISO、快门、光圈。对于USB工业相机，通常可通过厂商SDK或v4l2-ctl命令行工具完成。

4.3 现象：cv2.calibrateCamera返回ret = 0（失败），或rms误差异常高（>1.0像素）

原因：角点检测失败或误检。常见于：① 图像过曝/欠曝，角点区域一片死白或死黑；② 标定板反光，形成高光斑点，被误认为角点；③ 图像运动模糊（手抖或物体移动）。
解决：预处理是关键。在调用findChessboardCorners前，务必做：① 直方图均衡化（cv2.equalizeHist）提升对比度；② 使用cv2.findCirclesGrid（针对圆点板）或cv2.findChessboardCornersSB（Subpixel Binary，对光照鲁棒性更强）替代老版函数；③ 对检测结果用cv2.cornerSubPix进行亚像素 refinement，并可视化所有检测到的角点（用cv2.drawChessboardCorners），人工抽查10%图像，确认无漏检、无误检。

4.4 现象：标定后，图像中心区域校正效果好，但边缘仍存在明显枕形畸变

原因：默认只使用了2阶径向畸变（$k_1, k_2$）和2阶切向畸变（$p_1, p_2$），但对于高端广角镜头，高阶项（$k_3$）贡献不可忽略。OpenCV的calibrateCamera默认不启用 $k_3$。
解决：在调用时，显式传入标志位cv2.CALIB_RATIONAL_MODEL，并确保flags参数包含它。同时，cv2.undistort函数也需传入完整的畸变系数数组（长度为5或8）。代码示例：

# 启用高阶畸变模型 ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None, flags=cv2.CALIB_RATIONAL_MODEL | cv2.CALIB_FIX_ASPECT_RATIO ) # dist 数组现在是 [k1, k2, p1, p2, k3] 或 [k1, k2, p1, p2, k3, k4, k5, k6]

4.5 现象：在嵌入式ARM平台（如Jetson Nano）上，标定耗时长达数分钟，无法满足产线节拍

原因：默认的LM优化迭代次数过多，且cv2.calibrateCamera内部做了大量冗余计算（如多次SVD）。
解决：裁剪非必要计算。首先，将criteria（终止条件）设为更宽松的值（如cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 1e-6）；其次，禁用不必要的输出，只保留rvecs, tvecs（外参），若只需内参和畸变，可设rvecs=None, tvecs=None；最后，对内存极度敏感的场景，改用cv2.calibrateCameraRO（Region of Interest），只对标定板所在ROI区域进行计算。

5. 设计取舍的深水区：当精度、速度与鲁棒性不可兼得时，你选哪个？

张正友标定法不是一个静态的“标准答案”，而是一套充满设计哲学的工具集。它的每一个参数、每一个标志位，背后都是对特定应用场景的妥协与权衡。理解这些取舍，比记住公式更重要。

5.1 “固定主点” vs “自由主点”：一个关于制造公差的诚实对话

内参矩阵 $K$ 中的 $c_x, c_y$（主点）理论上应位于图像中心 $(w/2, h/2)$。但现实中，CMOS传感器的微米级位移、镜头座的装配误差，都会让主点偏移。cv2.calibrateCamera提供了cv2.CALIB_FIX_PRINCIPAL_POINT标志位，强制 $c_x, c_y$ 等于图像中心。

• 启用它：模型自由度降低，优化更快、更稳定，尤其适合低成本USB摄像头，其主点偏移通常小于1像素，强行优化反而引入噪声。
• 禁用它：模型更普适，能拟合更大偏移，但需要更多高质量图像（≥15张），且对图像覆盖范围（标定板需出现在图像四角）要求极高。某公司在调试一款高端机器视觉镜头时，发现禁用后 $c_x$ 偏移达12像素，这直接解释了为何之前用固定主点标定的系统，在边缘测量时总存在系统性偏差。

我的习惯是：先用CALIB_FIX_PRINCIPAL_POINT快速跑通流程，得到初步结果；然后，将c_x, c_y的初值设为该结果，再禁用此标志，用5-10张覆盖全视场的图像进行精细优化。这既保证了鲁棒性，又榨取了精度。

5.2 “鱼眼模型” vs “经典模型”：当你的镜头视角超过160°时，经典模型就是个笑话

张正友法基于小孔模型的微分近似，其有效视角通常<90°。一旦镜头视角扩大（如全景监控、VR相机），光线弯曲程度剧增，经典Brown模型的 $k_1 r^2$ 项完全无法描述。此时，必须切换到鱼眼模型（Fisheye Model），其投影函数为： $$ \theta = \arctan\left(\frac{r}{f}\right), \quad r_d = f \cdot \theta \cdot (1 + a_1 \theta^2 + a_2 \theta^4 + a_3 \theta^6 + a_4 \theta^8) $$ 其中 $\theta$ 是入射光线与光轴的夹角，$r$ 是归一化平面上的半径，$r_d$ 是畸变后的半径。OpenCV提供了完整的鱼眼标定API（cv2.fisheye.*），但其优化更复杂，对初始值更敏感。

某跨平台系统在集成一款190°鱼眼镜头时，坚持用经典模型，结果校正后图像边缘出现严重“撕裂”，角点重投影误差飙升至5像素。切换到鱼眼模型后，误差降至0.3像素，且校正后图像可用于后续的全景拼接。

5.3 “单次标定” vs “在线标定”：当你的相机会热胀冷缩时

工业相机长时间运行后，内部温度升高，镜头焦距、传感器尺寸都会发生微米级变化，导致内参漂移。一份出厂标定文件，可能在工作2小时后就失效。

• 单次标定：简单、高效，适用于温控良好、任务周期短的场景（如实验室）。
• 在线标定（Online Calibration）：在系统运行中，周期性地采集标定板图像，用少量（3-5张）快速重标定。这需要将标定算法轻量化（如禁用高阶畸变、减少迭代次数），并设计触发逻辑（如温度传感器读数变化>5℃，或累计运行时间>1小时）。

从那以后我每次设计一个需要长期稳定运行的视觉系统，都强制走一遍“热机标定”流程：让相机空载运行30分钟至温度稳定，再进行最终标定。并且，在软件架构中预留了在线标定模块的接口，哪怕当前不用，也为未来升级留出余量。希望帮到你。

本文还有配套的精品资源，点击获取