论文
Stereo DSO: Large-Scale Direct Sparse Visual Odometry with Stereo Cameras
代码
官方未开源。
地平线智能驾驶团队的工作:https://github.com/HorizonAD/stereo_dso
双目DSO是基于DSO的实时双目SLAM系统。它由Horizon Robotics公司的Autonomous Driving Group成员开发,运行在带CPU的笔记本电脑上,为自动驾驶汽车提供本地化和地图服务。
视频演示:https://youtu.be/JZ0JRrGA6Kc
安装
参考DSO的安装:https://github.com/JakobEngel/dso
也可参考我之前的博客:https://blog.csdn.net/learning_tortosie/article/details/81266727
使用
有关如何在数据集上运行,请参阅https://github.com/JakobEngel/dso。使用以下命令在http://www.cvlibs.net/datasets/kitti/eval_odometry.php上运行数据集:
bin/dso_dataset \
files=XXXXX/sequence_XX \
calib=XXXXX/sequence_XX/para/camera.txt \
gamma=XXXXX/sequence_XX/para/pcalib.txt \
vignette=XXXXX/sequence_XX/para/vignette.png \
preset=0 \
mode=1
在sequence_XX下,应该有两个名为image_0和image_1的图像数据集,它们是左右图像集。请注意,模式设置为1,因为我们没有光度校准。此外,运行代码不需要gamma和vignette。也就是说,在kitti数据集上运行的最小范例是:
bin/dso_dataset \
files=XXXXX/sequence_XX \
calib=XXXXX/sequence_XX/para/camera.txt \
preset=0 \
mode=1
数据集格式
除校准文件外,所有数据集格式与DSO相同。由于涉及双目基线,几何校准文件的格式略有不同。
预校正图像的校准文件
Pinhole fx fy cx cy 0
in_width in_height
"crop" / "full" / "none" / "fx fy cx cy 0"
out_width out_height
baseline
FOV相机模型的校准文件
FOV fx fy cx cy omega
in_width in_height
"crop" / "full" / "fx fy cx cy 0"
out_width out_height
baseline
Radio-Tangential相机模型的校准文件
RadTan fx fy cx cy k1 k2 r1 r2
in_width in_height
"crop" / "full" / "fx fy cx cy 0"
out_width out_height
baseline
EquiDistant相机模型的校准文件
EquiDistant fx fy cx cy k1 k2 r1 r2
in_width in_height
"crop" / "full" / "fx fy cx cy 0"
out_width out_height
baseline
注意:基线以米为单位。
运行模式
可以在main_dso_pangolin.cpp
中设置两种模式MODE_SLAM
和MODE_STEREOMATCH
。如果MODE_STEREOMATCH
为真,它将进行立体匹配并在给定一对双目图像的情况下输出idepth图。
Pipeline
这项工作的主要灵感来自Stereo DSO: Large-Scale Direct Sparse Visual Odometry with Stereo Cameras。
时间和static stereo结合在一种直接的,实时的SLAM方法中。在深度图估计中,关键帧和非关键帧的处理方式不同。初始化新的关键帧时,我们执行static stereo更新并修剪propagated深度图。非关键帧用于细化关键帧的深度图。有关static stereo深度估计,请参阅ImmaturePoint :: traceStereo
。有关深度propogation,请参阅CoarseTracker :: makeCoarseDepthL0
和FullSystem :: traceNewCoarseNonKey
。请参阅CoarseInitialzer :: setFirstStereo
和FullSystem :: InitializeFromInitialzier
以进行双目初始化。
实验
我们在kitti数据集和在高速公路、公园和车库采集的数据集上测试了双目DSO。它在规模,精度,鲁棒性和速度方面的表现优于DSO。
- DSO的尺度远小于groud truth
- 双目DSO可以实现更好的精度和更快的速度
- 根据评估,双目DSO实现约1.1%~4.2%的平移误差,0.001 deg/m~0.0053 deg/m旋转误差,每帧运行时间为53ms。
- 我们还在Kitti 00上测试了双目DSO。它实现了大约1.3%~3.7%的平移误差,0.002 deg/m~0.007 deg/m的旋转误差,每帧运行时间为56毫秒。
总之,与DSO相比,双目DSO有几个优点:
- 无需初始化。双目DSO立即初始化。
- 更好的尺度和精度。DSO对kitti数据集执行不良,特别是在尺度测量中。双目DSO大大降低了平移和旋转误差。
- 实时速度。双目DSO通常以每秒20帧的速度运行。
- 鲁棒性。双目DSO很少丢失,但如果初始化期间的移动不够大,DSO通常无法初始化。
测试
在KITTI sequence_00数据集上测试双目DSO,我的camera.txt
:
718.856 718.856 607.1928 185.2157 0
1241 376
crop
640 480
0.537165719
运行结果如下图所示:
可以看出,轨迹没有闭合,为什么?难道是camera.txt
设置的不对?
相关资料
视觉SLAM中直接法的应用实践:https://www.sohu.com/a/191569871_688262
DSO详解:https://zhuanlan.zhihu.com/p/29177540
双目DSO:https://zhuanlan.zhihu.com/p/29769576