单目与双目视觉及相机标定

引言

  在当今数字化与智能化飞速发展的时代，计算机视觉技术正逐渐渗透到我们生活的各个角落，从智能手机的人脸解锁到自动驾驶汽车的环境感知，从工业生产线上的质量检测到医疗领域的图像诊断，它为机器赋予了“看见”和“理解”世界的能力。而相机标定作为计算机视觉的基础环节，犹如为这些智能视觉系统打造精准的“眼睛”，其重要性不言而喻。无论是单目视觉还是双目视觉系统，准确的相机标定都是实现高效、精确视觉感知的关键前提，它直接影响着视觉系统的测量精度、定位准确性以及对三维场景的理解能力。

一、单目与双目视觉概念

（一）单目视觉

  单目视觉系统模拟人类单眼的视觉机制，仅使用一个相机捕捉图像。它是最为常见且应用广泛的视觉形式，广泛应用于诸如智能手机摄像头、普通监控摄像头等众多智能设备与监控系统中。然而，单目视觉系统存在一个显著的挑战，即无法直接从单一图像中获取深度信息。这意味着，单凭一张二维图像，系统难以准确判断物体与相机之间的实际距离以及物体在三维空间中的具体位置。

（二）双目视觉

  双目视觉系统则借鉴了人类双眼的视觉原理，通过两个相机从略微不同的角度同时捕捉同一场景的图像。这种设置使得双目视觉系统能够直接计算出图像中物体的深度信息，就像人类通过双眼视差来感知物体远近一样。在双目视觉中，两个相机之间的间距（基线距离）以及相机的焦距等参数共同决定了深度信息的计算精度。双目视觉系统在处理三维空间信息方面展现出了巨大的优势，其获取的深度数据更为精确和可靠，尤其适用于对空间感知要求较高的领域，如机器人导航中对障碍物距离的精确测量、自动驾驶汽车对路况和周围车辆行人位置的准确判断等，为这些智能系统提供了更丰富、更准确的三维环境信息，使其能够更好地理解和应对复杂的真实世界场景。

二、相机标定的基本原理

2.1四大坐标系

1.世界坐标系（World Coordinate System）：

  一个固定的三维坐标系，用于描述真实世界中物体的绝对位置。通常以某个方便的点作为原点，如场景的一个角或者某个特定的地标。

2.相机坐标系（Camera Coordinate System）：

  一个以相机为中心的三维坐标系，用于描述相机视角下物体的位置。原点通常位于相机的光学中心，x轴和y轴分别平行于相机的图像平面，而z轴则沿着相机的视线方向。

3.图像坐标系（Image Coordinate System）：

  一个二维坐标系，原点位于图像平面的中心，通常以毫米（mm）为单位。它表示相机坐标系中的点经过透视投影后在图像平面上的位置。

4.像素坐标系（Pixel Coordinate System）：

  一个二维坐标系，原点通常位于图像的左上角，以像素为单位。每个像素都有对应的实际物理尺寸。

2.2畸变系数

1.径向畸变（Radial Distortion）：

  最常见的畸变类型，通常表现为图像的边缘部分比中心部分更加扭曲。在径向畸变中，图像中的直线可能呈现为曲线。它主要由透镜本身的形状引起，光线在远离透镜中心的地方比靠近中心的地方更加弯曲。

包括桶形畸变（Barrel Distortion）和枕形畸变（Pincushion Distortion）。

2.切向畸变（Tangential Distortion）：

  由于镜头和图像感应器之间的不完美平行对齐，可能导致图像某些部分被稍微偏移。它产生于相机组装过程中，透镜本身与相机传感器成像平面不平行。

畸变系数包括径向畸变参数（k₁、k₂、k₃）和切向畸变参数（p₁、p₂），这些参数用于描述和校正由于镜头设计和组装不完美造成的图像畸变。

2.3内外参数以及畸变系数计算

  这四个坐标系之间的转化关系为：

  另外，相机拍摄的图片还存在一定的畸变，畸变包括桶形畸变和枕形畸变。畸变模型包括径向畸变和切向畸变。

2.4张氏标定法

1.准备标定板：标定板是相机标定的基础工具，常见的有棋盘格和圆点格两种。棋盘格由黑白相间的方格组成，适用于角点检测；圆点格则由一系列规则排列的圆点构成，可用于更精确的特征点定位。选择合适的标定板时，需综合考虑相机的分辨率、视场角以及应用场景等因素，确保标定板的尺寸和图案能够充分覆盖相机的成像范围，并提供足够多的特征点以提高标定精度。

2.捕获标定图像：使用待标定的相机从不同的角度和距离拍摄多张标定板图像。这一过程要求拍摄的图像能够全面反映相机在实际使用中的各种成像情况，包括不同视角、不同光线条件等。一般建议拍摄至少 10 到 20 张不同角度的图像，且要确保标定板在每张图像中都清晰可见，无遮挡、无过度曝光或欠曝光等问题，以保证后续角点提取的准确性和可靠性。

3.提取角点：对于每一张拍摄的标定板图像，利用图像处理算法提取标定板上的角点或特征点坐标。在 OpenCV 等计算机视觉库中，提供了专门的函数 用于棋盘格角点的自动检测。该函数能够快速、准确地定位图像中的角点位置，并返回角点的像素坐标。提取的角点精度直接影响相机内参和外参的计算结果，因此在角点提取过程中，需要对图像进行适当的预处理，如灰度化、去噪等，以提高角点检测的鲁棒性和准确性。

4.计算内参和畸变参数：将提取的图像角点坐标与对应的世界坐标（根据标定板的实际尺寸和几何布局确定）输入到相机标定算法中，通过最小二乘法等优化方法，计算出相机的内参矩阵（包含焦距、主点坐标）和畸变系数（包括径向畸变和切向畸变参数）。这些参数能够精确描述相机的成像特性以及镜头存在的各种畸变情况，为后续的图像校正和三维重建提供必要的数据支持。在计算过程中，需要对多张图像的角点数据进行综合分析和拟合，以提高参数估计的稳定性和可靠性，减少因单张图像质量问题或角点提取误差带来的影响。

三、单目与双目视觉的应用领域

（一）单目视觉应用

1. 监控系统：在安防监控领域，单目相机被广泛应用于实时监控场景，通过图像分析实现对监控区域内人员、车辆等目标的检测、跟踪和行为识别。例如，在公共场所如商场、车站等安装的监控摄像头，利用单目视觉技术可以自动识别异常行为、统计人流量、监测物体遗落等情况，提高安防监控的效率和智能化水平，减少人工监控的工作量和误判率。

2. 自动驾驶辅助：在自动驾驶汽车中，单目视觉系统发挥着重要作用，用于车辆的车道检测、交通标志识别、行人检测等任务。通过对道路图像的实时分析，系统能够准确识别车道线的位置和形状，为车辆的自动驾驶提供精确的行驶路径规划依据；同时，还能及时识别道路上的交通标志和信号，确保车辆遵守交通规则，提高行驶安全性和可靠性。此外，单目视觉在车辆周围的障碍物检测和距离估算方面也有所应用，尽管其深度信息不如双目视觉精确，但在一定程度上能够辅助车辆进行初步的环境感知和避障决策。

3.机器人导航：在机器人技术中，单目视觉为机器人提供了环境感知能力，帮助其在未知环境中进行自主导航和路径规划。机器人通过单目相机捕捉周围环境图像，利用视觉 SLAM（同步定位与地图构建）等算法，构建环境地图并实时定位自身位置和姿态，同时规划出合理的运动路径，避开障碍物，实现自主移动。例如，在家庭服务机器人、物流仓储机器人等应用场景中，单目视觉技术使机器人能够灵活适应不同的室内环境，完成诸如物品搬运、清洁清扫等任务，提高了机器人的智能化程度和实用性。

（二）双目视觉应用

1.三维重建：双目视觉系统能够精确获取物体的深度信息，因此在三维重建领域具有显著优势。通过对同一场景的双目图像进行视差计算和深度估计，可以重建出物体和场景的三维模型，广泛应用于虚拟现实、游戏开发、文化遗产保护等领域。例如，在虚拟现实应用中，利用双目视觉重建的三维场景能够为用户提供沉浸式的虚拟体验，使用户仿佛身临其境；在文物保护中，通过对文物进行双目视觉扫描和三维重建，可以实现文物的数字化存档和展示，为文物研究和保护提供新的手段和技术支持。

2.机器人导航与操作：在对空间感知和操作精度要求较高的机器人应用中，双目视觉系统能够为机器人提供更准确的环境深度信息和物体位置信息，使其能够更好地理解和交互周围世界。例如，在工业机器人中，双目视觉可用于精确抓取和操作物体，机器人通过双目视觉系统准确判断物体的位置、姿态和尺寸，规划合适的抓取路径和力度，实现高精度的装配、分拣等操作任务，提高生产效率和产品质量。在服务机器人中，双目视觉有助于机器人在复杂环境中进行更精准的导航和避障，同时能够识别和操作桌面上的物品，如倒水、拿取物品等，增强机器人的服务功能和适应能力。

3. 增强现实：增强现实技术旨在将虚拟信息与真实世界场景相结合，为用户提供更加丰富和直观的视觉体验。双目视觉系统提供的精确深度信息和三维场景理解能力，能够使虚拟物体在增强现实场景中更加真实地与真实世界融合。例如，在 AR 游戏中，虚拟角色和道具可以根据实际场景的深度和布局进行合理放置和交互，增强游戏的真实感和趣味性；在工业维修和远程协作领域，通过双目视觉增强现实技术，远程专家可以将维修指导信息准确叠加在实际设备图像上，指导现场人员进行设备维修和故障排除，提高工作效率和准确性。

参考来源

https://zhuanlan.zhihu.com/p/503618448

https://blog.csdn.net/qq_31463571/article/details/134619531

https://zhuanlan.zhihu.com/p/362018123