读real time localization and 3D reconstruction笔记

首先，我们提出了从视频流中估计相机运动和三维结构的完整方法使用局部束调整来解释我们的增量方法：我们建议仅使用限制在最后一个摄像机和这些摄像机观察到的3D点的一组参数来优化3D结构的末端。在第二部分中，我们提供实际数据的实验和结果，并与GPS定位进行比较。

一增量算法的描述

算法首先确定将用于设置全局帧和系统集合的第一个三元组图像。然后用特征检测和匹配对视频流的每个帧执行稳健的姿势计算。选择一些帧并成为用于3D点三角测量的关键帧。系统以增量方式运行，当添加新的关键帧和3D点时，我们继续进行本地束调整。

1.1兴趣点的检测和匹配

检测哈里斯角，然后对于图1中的兴趣点，选择图2中定义的感兴趣区域中一些候选对应点，然后计算两个图中兴趣点和候选对应点及候选点邻域的相关，选择相关高的对作为对应点对。

1.2序列初始化

我们要选择相对较远的帧才能计算极线几何，但是又要有足够多的共同点。

1.我们选择 $我_ {1}$ 作为关键帧， $I_ {2}$ 距离 $我_ {1}$ 稍远，但是有中号个匹配的兴趣点， $I_ {2}和I_ {3}$ 状语从句： $我_ {3}$ 。也有中号个匹配的兴趣点，而 $我_ {3}$ 状语从句： $我_ {1}$ 至少有 $μ{}”$ 状语从句：兴趣点。

2. $我_ {1}$ 作为世界坐标系。

3.用5点算法和RANSAC算前三个帧相对位姿。

4.兴趣点三角化为3D点，用 $我_ {1}$ 状语从句： $我_ {3}$ 中的匹配点。

5.LM算法完成位姿估计和三维坐标优化。

1.3实时鲁棒的姿态估计

C，我们匹配最后一帧 $一世$ 和最后选择的关键帧 $I_ {I-1}$ 确定一组点p在相机（ $C_ {I-2} {C_ I-1}℃$ ）上投影位置已知，而且这组点的3D位置也已经算过了。

1.从 $C_ {I-2} {C_ I-1}$ 重建的3D点，我们使用古方姿势估计算法来计算相机的位置C.（RANSAC过程给出了相机的初始估计Ç然后优化RT，用快速LM优化。）

2.我们计算相机 $C$ 的协方差矩阵接，我们可以画90％的置信椭圆，如果冠状病毒是协方差矩阵那么置信椭圆有 $\ bigtriangleup x ^ {T} Cov ^ { - 1} \ bigtriangleup x ^ {T} \ leq 6.25$ ， $\ bigtriangleup x ^ {T} Cov ^ { - 1} \ bigtriangleup x ^ {T}$ 服从 $\ chi _ {2}$ 分布。

1.4