从点云中提取线结构的定量评价指标

如果从点云中提取了线，那么应该怎么去评价提取的线结构，下面介绍几个定量的评价指标。

1.the precision-recall curves

1.1 一般情况下的precision-recall curve的定义

参考文献

https://medium.com/@douglaspsteen/precision-recall-curves-d32e5b290248

这种曲线一般用在二分类的算法中，下面是常用的二分类的混淆矩阵：

在这里插入图片描述
然后precision和recall的定义如下：
$\frac{TP} {TP+FP} \\[2ex] recall = \frac{TP}{TP+FN}$

1.2 判断点云中提取线结构的的Precision-Recall曲线

参考底下两篇paper

【1】P. Arbeláez, M. Maire, C. Fowlkes, and J. Malik, “Contour detection and hierarchical image segmentation,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 33, no. 5, pp. 898–916, May 2011.
【2】Lin，C. “Facet segmentation-based line segment extraction for large-scale point clouds”.IEEE Transations on Geoscience & Remote Sensing,vol.PP,no.99,99,pp. 1-16.2017

其中第二篇papaer中是这样定义的：
precision: the probability that a point lying on the extracted line segment belongs to ground-truth points
recall: the probability that a ground-truth point lies on the extracted line segment
t: a distance threshold to determine whether a point lies on the line segment
with changing the value of t , the precision-recall curves are produced

用中文去描述，我的个人理解是这样的：假如提取到的线段一共有10个点，人工提取的线段(真值)一共有12个点，根据某个t值判断了提取到的线段有8个点属positive，2个点属于negative；在被判断为positive的8个点中，其中有6个点组成的线段是真正的人工提取的线段(真值)，有两个不是。那么 $\frac{6}{6+2} \ \ \ recall = \frac{6}{12}$ 。然后再改变t值，得到不同的precision和recall值，从而可以得到 precision-recall curves。注意：这是跟一般定义上的不一样。因为预测值和真值得个数不相同，所以会导致recall得计算得分母并不是TP + FN，而是真值的总和也就是人工提取的线段的总和。

那根据precison-recall curves怎么判断提取的精度了，主要有以下两个准则：

这个曲线向右上角凸的越厉害，精度就越高；
这个曲线与recall轴围成的面积越大，精度就越高。

第二篇论文中的评价精度如下：
在这里插入图片描述

在这里插入图片描述

2.Completeness/Correctness/Quality

参考文献：

【1】Y. Lin et al., “Line segment extraction for large scale unorganized point clouds,” J. Photogram. Remote Sens., vol. 102, pp. 172–183, Apr. 2015…
【2】Rutzinger, M., Rottensteiner, F., Pfeifer, N., 2009. A comparison of evaluation techniques for building extraction from airborne laser scanning. IEEE J. Sel. Top. Appl. Earth Observations Remote Sens. 2 (1), 11–20.

其中第一篇paper中定义的如下：

Completeness:the ture positive detection rate of line segments
Correctness: indicates how well the line segments are detected
Quality： a balance of completeness and correctness
$\frac {|TP|} {[N|} \\[2ex] Corr = \frac{|TP|}{|M|} \\[2ex] Quality = \frac{1}{1+\frac{|FP|}{|TP|}+\frac{|FN|}{|TP|}} = \frac{Comp\bullet Corr}{Comp+Corr-Comp\bullet Corr}$
其中 |TP| is the number of true positive detected line segemtns; |N| is the total number of line segments in the ground truth, |M| is the total number of detected line segments.

然后判断一个提取到的线段是否为 ture positive，paper中是这样判断的
在这里插入图片描述

Comp、Corr、Qulity值越高，说明提取的精度越好。从下表可以看出文中的方法(Ours)这三种metric的值要大于其它两种方法，所以文中提取的方法精度高。

在这里插入图片描述