Agisoft metashape 重建点云可视化

Metashape 将三维重建算法封装成易于使用的工具。

1. 添加照片 (Add Photos)

• 原理： 这是整个流程的基础。Metashape 需要一系列具有重叠区域的二维照片作为输入数据。这些照片可以是无人机航拍、普通相机拍摄，甚至是扫描的图像。
• 流程：
  • 用户将照片导入 Metashape 软件。
  • Metashape 会读取照片的 EXIF 信息（如果有的话），包括拍摄时间、相机型号、镜头参数、GPS 位置等。这些信息有助于后续的对齐过程，但不是必需的。

2. 对齐照片 (Align Photos)

• 原理： 这是 Metashape 最核心的步骤之一，基于 Structure from Motion (SfM) 算法。SfM 是一种从一系列二维图像中重建三维结构的技术。
  • 特征点提取: Metashape 会自动检测每张照片中的显著特征点（例如角点、边缘等）。这一步通常使用 SIFT (Scale-Invariant Feature Transform)、SURF (Speeded Up Robust Features) 或类似算法。
  • 特征点匹配: 算法会在不同照片之间寻找匹配的特征点。这意味着在不同照片中代表同一物理点的特征点会被关联起来。
  • 相机姿态估计 (Camera Pose Estimation): 基于匹配的特征点，Metashape 会计算每张照片的拍摄位置和方向（相机外方位元素）。这通常涉及到解一个非线性优化问题，以最小化重投影误差（reprojection error）。重投影误差是指将三维点投影到二维图像上时，投影点与实际检测到的特征点之间的距离。
  • 稀疏点云生成 (Sparse Point Cloud Generation): 在相机姿态估计的同时，Metashape 会生成一个初步的三维点云，称为稀疏点云。这个点云只包含那些被成功匹配和三角化的特征点。
  • 光束法平差 (Bundle Adjustment): 这是一个优化过程，同时精细化相机参数（内方位元素和外方位元素）和三维点的位置，以进一步最小化整体的重投影误差。
• 流程：
  1. 用户选择“对齐照片”功能。
  2. Metashape 会提示用户选择对齐的精度（Accuracy）。更高的精度需要更长的处理时间，但通常会得到更准确的结果。
  3. Metashape 执行上述的特征点提取、匹配、相机姿态估计、稀疏点云生成和光束法平差等步骤。
  4. 对齐完成后，用户可以查看稀疏点云、相机位置和方向，以及对齐的质量报告。

3. 创建密集点云 (Build Dense Cloud)

• 原理： 密集点云是在稀疏点云和相机姿态的基础上生成的。Metashape 使用多视图立体匹配 (Multi-View Stereo, MVS) 算法来计算更密集的三维点。
  • 深度图计算 (Depth Map Calculation): 对于每张照片，Metashape 会计算一个深度图。深度图中的每个像素表示从相机到场景中对应点的距离。这通常是通过在多张照片中搜索具有相似外观的像素来实现的。
  • 深度图融合 (Depth Map Fusion): 将所有照片的深度图融合在一起，生成一个统一的、密集的点云。这个过程中会考虑不同深度图之间的置信度，并进行滤波和优化。
  • Patch-based MVS 是其中一个流行的深度图计算技术，其主要思想就是将图像划分为多个小块（patch）, 然后对每个小块进行匹配和深度估计。
• 流程：
  1. 用户选择“创建密集点云”功能。
  2. Metashape 会提示用户选择密集点云的质量（Quality）和深度滤波模式（Depth Filtering）。更高的质量需要更长的处理时间，但会生成更详细的点云。深度滤波模式可以控制点云的平滑程度和噪声水平。
  3. Metashape 执行上述的深度图计算和融合步骤。
  4. 创建完成后，用户可以查看密集点云。

总结:

整个流程可以概括为：

1. 输入： 一组具有重叠区域的二维照片。
2. 对齐： 通过 SfM 算法找到照片之间的对应关系，估计相机姿态，并生成稀疏点云。
3. 密集化： 通过 MVS 算法计算深度图，并将深度图融合成密集点云。
4. 输出： 一个密集的三维点云，可以用于后续的三维建模、纹理映射、正射影像生成等应用。