1. 泊车

基于视觉的环视可用空间检测是自动停车辅助（APA）的基本任务之一。任务是根据图像输入识别环视自由空间，即 360 度视图中车辆可行驶而不会发生碰撞的简单连接的道路区域。尽管激光扫描仪能够捕获准确的深度信息而经常用于此任务，但基于视觉的方法由于其显着的成本优势而继续引起人们的兴趣。

与行车场景相比，泊车场景中的自由空间检测提出了对边界精度的要求。这是因为停车场景中的障碍物显得更密集，并且更紧密地聚集在车辆周围。因此，精确定位这样的边界可能非常具有挑战性，特别是对于环视图像。与分别对每个单一视图进行检测并合并结果相比，从环视图像中进行检测更有利泊车辅助，其优势在于它可以一次性提供一整块可用空间，从而在推理时间上具有优势。然而，鱼眼相机输入和相应的图像马赛克分别接近大规模拉伸扭曲和刺眼阴影，从而使边界变得模糊。此外，在停车场景中，障碍物往往指的是车辆和行人，它们的大小、方向和位置差异也很大。

在本文中，我们将介绍从多个鱼眼相机输入拼接而成的环视图像直接预测自由空间（图1（a）-（b））。

在上图1中，驱动车辆（黑色块）位于图像的中心，并且始终被自由空间边界包围。因此，以图像中心为原点，每个边界点由极角和极角点决定。圆弧半径的边界点的顺序是自然确定的。此外，在特定的极角采样间隔下，边界可以采样到一组点，然后紧凑地表示为极半径序列。直接序列回归不仅可以明确关注边界定位的准确性，而且还可以显着降低计算成本。

1.1 为什么要优化可泊空间预测算法

由于边界定位的高精度要求，现有的自由空间检测方法不再适用于我们的任务。最近的方法利用全卷积网络（FCN），它将自由空间检测视为二进制分割问题。这种逐像素表示过于复杂且区域化，仅反映整体性能，很少关注边界定位的精度。这种逐像素表示不仅会淡化边界定位的重要性，而且还会引入额外的计算成本，因为高维特征图之后的后续上采样卷积层。尽管已经有相当多的算法提出了几种方法来直接使用中心分类和距离回归来预测边界，但中心热图和距离回归仍然是逐像素的方式，同时，这些方法也还面临着昂贵的计算成本。

为了捕获预测中的非局部依赖性，使用Transformer网络来集成障碍物信息并建模全局上下文。Transformer 广泛应用于计算机视觉领域，在捕获全局上下文和建模非局部依赖关系方面表现了出非凡的性能，这就很自然的想到利用Transformer来解决大规模扭曲和全局稳定性问题。该网络将环视图像作为输入，并端到端地回归极半径序列。

此外，在训练过程中，利用T-IoU（Triangle-IoU，交并比Intersection-over-Union）损失来表示相邻点的关系并整体优化边界的匹配过程也是本文介绍的方法之一。

自由空间检测的传统算法范围从像素级算法升级到占用网格。近年来，研究人员将全卷积网络FCNs应用于自由空间检测。标准全卷积网络 FCN 模型由编码器到解码器架构组成，该架构在编码器中提取高级特征表示，并在解码器中将表示上采样为全分辨率分割。尽管 FCN 在自由空间检测中实现了出色的精度，但它们本质上是为每像素分类而设计的。

此外，一些方法预测每个图像列的垂直坐标以直接表示自由空间边界。然而，这些方法不适用于环视图像，因为环视边界不沿着行，导致每列上边界点的数量和顺序关系不明确。这点上，极坐标系在旋转和方向相关问题上具有先天的优势。这种方法利用一个中心点、一个极半径和两个极角来表示遥感图像中的边界框。在对象检测和实例分割领域提出了类似的解决方案，可以概括为两个并行任务：中心预测和距离回归。然而，它们更像是逐像素预测方式，并且需要 NMS（非极大值抑制的方法）作为后处理。相比之下，本文所介绍的方法在极坐标中对自由空间边界进行建模，并端到端地预测极半径，它放弃了逐像素方式，并且不需要后处理。

在本文中，我们将介绍自由空间重新构建为自由空间边界的极坐标表示，并利用转换器框架来进行端到端地回归表示。为了限制自由空间的整体形状，我们引入了Triangle-IoU损失函数，使网络能够将边界视为一个整体。

1.2 泊车Freespace检测方法到底如何优化

1、自由空间边界的极坐标表示

为了在极坐标系中建模环视自由空间边界，我们首先将图像中心$c=(x_c,y_c)$设置为极坐标系的原点，水平向右方向为极轴正方向，顺时针方向为极角的正方向（以弧度为单位）。为了形成闭合曲线，极角限制在$[0,2\pi )$范围内变化。以相同的极角采样间隔$\Delta \theta =2N\pi$采样$N$个边界点，第i个采样点可以用(ρi,θi)表示，其中极半径${\rho }_i$由到 $c$的距离和极角${\theta }_i=i\cdot \Delta \theta$确定，其中$i\in 0,1,2,...,N-1$。

至此，在极坐标系下，环视自由空间边界$\psi$可依次表示为：$\psi =\{({\rho }_0,{\theta }_0),({\rho }_1,{\theta }_1),...,({\rho }_{N-1},{\theta }_{N-1})\}$ 。已知${\theta }_i$ 时，需要预测的元素仅为极半径，而$\psi$可以进一步简化为： ρ = { ρ 0 , ρ 1 , . . . , ρ N − 1 } ρ=\{ρ_0,ρ_1,...,ρ_{N−1}\} ρ={ ρ0​,ρ1​,...,ρN−1​}。

为了定性评估自由空间边界的精度，我们将极点转换为笛卡尔点。笛卡尔点 $(x_i,y_i)$ 可以从 $({\rho }_i,{\theta }_i)$表示如下：
$x_i=x_c+{\rho }_i\cdot cos({\theta }_i)，y_i=y_c+{\rho }_i\cdot sin({\theta }_i)$

最后，用直线将相邻的点按顺序连接起来，形成一条闭合曲线，代表自由空间的边界，这个边界包围的区域被视为自由空间。对自由空间边界的极坐标表示只是一个包含 $N$ 个元素的序列，这是参数的显着简化。

2、边界检测模型

图 3 说明了整个模型的整体流程。给定一个环视图像 $I$ 作为输入，网络输出一个端到端的序列${\varphi }_{\rho }$，包含一组极半径。

通过分配预定的极角序列${\psi }_{\theta }$，得到一组采样边界点。将这些点依次用直线连接起来，就可以得到预测的边界B和相应的自由空间Freespace。

该网络通过主干网、Transformer和用于序列预测的前馈网络（FFN）组成。在主干中，应用ResNet18来提取低分辨率图像特征。Transformer编码器和Transformer解码器都由两个相同的层堆叠而成。每个编码器主要由多头自注意力模块组成，通过并行注意力操作对图像特征关系进行建模，以生成图像嵌入。每个解码器在自注意力模块之后都有一个额外的多头交叉注意力模块，用于计算与图像嵌入和序列的交互。最后，FFN 通过 3 层感知器将Transformer的输出投影为 ${\varphi }_{\rho }$。

3、三角形IoU损失（T-IoU损失）

为了限制边界点的位置，一个不太成熟的处理方式是利用l1损失来监督预测序列。然而，l1损失是为了单点的精度而设计的，因此，这种方式忽略了相邻点之间的关系和边界的整体形状，从而导致不够平滑和局部模糊。相反，IoU 在目标检测、语义分割中用于判断两个图片或者框的重合程度这方面得到了广泛的应用，他的计算过程是将自由空间视为一个整体，并期望边界在形状和大小方面表现合理。

为了发挥IoU的优势，我们首先在groundtruth边界上以极角2Nπ的采样间隔进行均匀采样，以获得N个真值GroundTruth极半径的离散序列。同时，将地面真值序列表示为 ${\hat{\varphi }}_{\rho }$ 。Polar IoU提到自由空间的面积可以用无限组扇形区域来表示。然而，在有限的采样角度下，仅利用一个半径的扇形区域无法拟合复杂的形状。由于预测点是用直线连接的，因此采样自由空间由具有共享中心点的三角形聚集。在这种情况下，将 Polar IoU 中的扇形区域替换为利用两个相邻极半径的三角形区域。

根据三角形面积$S\Delta =1/2\ast sin\Delta \theta \cdot {\rho }_1{\rho }_2$的计算公式，可以计算出三角形IoU(T-IoU)：

其中,${\rho }_N={\rho }_0$ 且 ${\hat{\rho }}_N={\hat{\rho }}_0$。${\rho }_i^{max}$ 表示$max({\rho }_i,{\hat{\rho }}_i)$，${\rho }_i^{min}$表示$min({\rho }_i,{\hat{\rho }}_i)$。T-IoU不仅比Polar IoU在有限采样角度下对自由空间有更精确的表示，而且通过学习相邻关系可以更好地适应细长障碍物中极半径的快速变化。

由于T-IoU的范围为[0, 1]，最优值为1，因此T-IoU损失可以表示为T-IoU的二元交叉熵。省略常数项 $1/2sin(2N/\pi )$，T-IoU 损失可以简化如下：

分割网SegNet用于鱼眼相机自由空间检测。对于实际应用，可以选择SegNet作为基本版本。为了分析分割方法中的边界精度，本文对分割图进行后处理：获取最大连通区域的外边界并将其作为预测。因此，本文介绍的方法与以前的自由空间检测方法进行比较，后者可以说是将自由空间视为二进制分割的问题。

与边界检测方法的比较。PolarMask提出通过中心分类和距离回归来预测实例分割中的边界。由于不需要中心分类，这就可以删除PolarMask 中的中心头和分类头，只级联一个平均池化层，然后是回归头。由此，就计算成本而言，与常规的方法比较而言，这里提出的方法只有9.7个GMAC，比其他方法要小，差异主要来自处理提取特征的模块。

如上右图所示，SegNet-Basic的解码器需要14.8个GMAC，由于一系列上采样操作而导致大量冗余。PolarMask 的头部也采用了 15.1 个 GMAC 和一系列卷积层。相反，Transformer 仅需要 0.2 GMAC 来预测边界点，这显着简化了过程。

那么T-IoU 损失如何影响学习呢？T-IoU损失在BAE中达到6.94像素。相比之下，l1 损失达到 7.84 BAE，领先 0.90 个像素。边际表明，使用边界的整体形状进行训练比仅关注孤立点更有效。此外，T-IoU 损失在 BAE 中比 Polar IoU 损失高出 0.42 个像素。我们将这种改进归因于更好的边界表示以及对相邻点之间关系的考虑。

1.3 可泊空间预测过程中还有哪些需要深入考虑的问题？

当然，由于传感器遮挡也可能导致预测失败。如上右图，本文提出的极坐标表示方式也无法通过从图像中心发出的光线覆盖蓝色区域。

同时，由于离散采样，对自由空间边界的极坐标表示丢失了部分细节。地面实况极半径 ${\hat{\psi }}_{\rho }$ 可以聚合到采样地面实况边界 ${\hat{B}}_s$ 。为了定量分析损失，我们计算真实边界 $\hat{B}$ 和采样真实边界之间的 BAE 分数边界 ${\hat{B}}_s$ ，这是理想的上限。

从上图6（a）中我们观察到采样更多的极角可以实现更高的上限并恢复更精细的结构。当采样极角数量超过 360 时，上限的改进也会变得微不足道。在图6（b）中，我们对30到720个采样极角的数量进行了实验，发现具有360个采样极角的输出表现最好。随着采样极角数量的增加，模型将接收到更精确的结构信息，并预测更详细的边界。然而，当采样极角的数量太大时，边界表现得过于离散，模型的能力在编码如此繁琐的序列时将受到挑战，导致平滑度降低。

如上图7 显示了 Transformer 解码器的交叉注意力模块中的注意力图。可以看到，对于序列中的特定极半径，图像嵌入与自由空间边界附近的可能区域有效性相关。角度信息也是通过位置嵌入隐式学习的。

1.4 总结

基于视觉的环视可用空间检测对于自动泊车辅助至关重要。在这项任务中，精确的边界定位是最受关注的问题。本文提出的方法可概括如下：

• 通过建议将自由空间重新构建为自由空间边界的极坐标表示，明显简化表示并增强对边界定位的关注。

• 利用变压器框架来解决长序列预测问题。此外，提出了 T-IoU 损失来提高相邻预测的相关性。

• 在停车场景中引入了一个大规模数据集，带有边界注释和评估边界质量的有效指标。本文介绍的方法在大规模数据集上具有良好的性能，并且对新的停车场景表现出很强的泛化能力。

在本文中，我们介绍一种将自由空间重新构建为自由空间边界的极坐标表示，并利用转换器框架来端到端地回归极坐标表示。基于环视自由空间是一个简单连通区域并且可以在给定边界的情况下轻松还原对应的联通部分，这里主张将自由空间检测转换为边界点预测问题。为了有效地对这些点进行建模，我们利用极坐标表示，这在曲线描述中具有固有的优势。

2. 行车

自动驾驶有可能大大减少交通事故、道路拥堵以及相关的经济损失。安全的自动驾驶需要检测周围的障碍物、移动物体并识别可驾驶区域。对于城市驾驶的所有附近物体以及高速公路驾驶的远处物体都必须执行此操作。当前的自动驾驶汽车通常会结合使用雷达、激光雷达、摄像头、高精度 GPS 和先前的地图信息来确定汽车周围的障碍物和路面上的安全行驶区域。
自由空间检测Freespace为自动驾驶车辆提供了对环境的信息感知。对于Freespace来说，最好的传感器检测方式是Velodyne 多光束激光传感器。这种高性能传感器能够对物体以及可行驶表面进行检测和分类。但是鉴于成本关系，要在自动驾驶领域大量普及显得不太可能。基于视觉的系统可以通过提供远距离物体和路面检测和分类来补充其他传感器。但是，视觉传感器在雨、雾和雪中的性能会显着下降，限制了其在晴朗天气下的适用性。
当然，这几十年来，基于图像处理的研究一直在扩展到解决道路分割问题。早期的方法，包括 FCN和 SegNet，提出了编码器-解码器架构，其中编码器可以生成多个尺度的特征图，解码器可以提供高预测精度的像素级分类。RBNet研究道路结构与其边界布置之间的上下文关系。RBA使用由反向注意力和边界注意力单元组成的残差细化模块。除了基于低级特征的算法之外，鉴于深度卷积神经网络最近在计算机视觉任务中取得的成功，DNN 成为解决自动驾驶中感知挑战的良好候选者。
此外，业内也还进行了许多其他的尝试，比如利用深度CNN 解决分割问题的研究，CNN 应用于自动驾驶感知任务的工作已经产生了专门的网络，可以检测摄像头画面中的其他车辆和车道，并且已经通过将自由空间问题视为语义分割的任务进行研究。然而，可能的道路障碍物和道路结构的多样性使得针对每种可能的障碍物和道路场景训练特定网络变得不切实际。特别是，获得涵盖所有可能场景的训练数据将非常困难。相反，采用更通用的检测器来确定可以安全行驶的自由路面Freespace将比检测道路目标语义显得更加实用

本文将重点介绍两类不同类型的可行使区域检测方案。

2.1 基于占据网格的Freespace检测

典型的可行使区域检测方法是通过占据网格图Occupancy Grid Map 的方式进行，占据网格图OGM是将区域分割为格子状，并通过分配给各各自单元的随机变量判别假设的方法。OGM是多个传感器输出的综合判定，由于与路径规划的搜索算法具有高度亲和性，在业内被用来作为可行使区域的有效代表。
如下图，首先通过各传感器对场景对象进行检测，期间，需要对各个传感器检测结果的置信度进行估计，随后需要对如上得出的可行使区域检测估计结果进行最大似然估计，从而更新占据网格信息。在这个更新过程中，通常需要使用先前累积的先验地图进行分析。

在占据网格图OGM生成网格图过程中，需要根据给定的数据计算映射的事后概率如下：

$m$表示地图，即到特定时刻为止传感器的全部观测量，$\ast$表示该特定时刻为止时，本车移动具体轨迹。例如，在100x100单元的地图中，由于各单元具有确定性占有/可能性占有两种状态。对于这样非常高维度的空间处理，若推定如上公式的后验概率，则需要大量的计算量。估计地图$m$的时候概率问题，替换为推定各小区后验概率的问题，此时，各小区后验概率如下：

这种表示方式中，$m$表示具有索引单元格的网格图，映射$m$是各个单元$m_i$的集合。

此时，用上式可以映射出后验概率如下：
通过对如上后验概率的推断，可以得出相应的可行驶区域位置。对于如上定义的传感器可靠性组合方法进行叙述。考虑传感器可靠性在不同场景应用下的概率可以用如下方程进行计算。通过对各传感器进行综合推断，可以更新OGM的后验概率。

一般来说，在整合各传感器输出时，在对每个传感器生成OGM时，使用了将OGM彼此融合的方法。但是，在该方法中，由于需要生成与使用传感器数目相当的OGM。因此如果传感器数目增加，则存储器负荷和计算量也将增加。因此，较好的方法是不为每个传感器生成OGM，而是在传感器数据处理期间就进行融合运算生成对应共同的OGM。采用由各个传感器输出逐次更新的方法，由此能够更加高效的更新OGM。如下图表示了更新不同传感器的时间戳OGM。

2.2 基于 GoogLeNet 的网络

另一种可行驶区域的检测方法是通过训练一个基于 GoogLeNet 和 OverFeat 架构的网络来检测高速快速公路环境中的自由路面。经过训练的网络在自由空间检测任务上表现非常出色。这将有可能基于计算机视觉的传感器用作自动驾驶汽车可行使区域检测，包括对一般障碍物的检测和安全驾驶区域的检测。

在本文中，网络的任务是在给定单个 640 x 480 分辨率相机帧的情况下检测自由路面。图像的每个 4 x 4 像素非重叠块被分类为自由路面或非自由路面。如果某个斑块包含车辆可以安全行驶的道路部分，则该斑块应被归类为自由路面。某些特定情况下，补丁如果不包含障碍物，例如另一辆车，或车辆无法行驶的表面，例如人行道/路肩，那对应的道路空间将不被定为可行使区域。

该数据集由 30 多个小时的 1 兆像素分辨率视频组成，由在湾区高速公路上行驶的车辆上的前置摄像头录制，相应的数据用车道和汽车标签进行提前标注。

车道标注（见图1）指示高速公路上距离车辆80米以内的所有车道的位置，包括被其他车辆遮挡的车道，车道标签是根据相机和激光雷达点云数据生成的。首先自动提取泳道，然后由人工标注人员进行检查和纠正。

汽车标注（见图 2）由车辆约 100 米内所有可见和部分遮挡车辆的边界框组成（最终组合标签见图 3）。汽车标签由人工标注团队通过 Amazon Mechanical Turk 生成。

图 3. 显示自由路面标签的汽车和车道标签组合示例。绿色阴影区域显示标记为自由空间的图像区域。

在此数据集中，自由驾驶空间定义为两个车道标签之间不包含车辆的区域。网络预计会产生一个像素掩模，该像素掩模指示与上面定义的相同区域作为自由空间。定性结果将显示试驾的道路图像，并标明可行驶的路面。同时将定量地根据正确分类的图像块的F1分数来评估结果。我们直观地预计网络性能会随着车辆前方距离的增加而降低。理想情况下，该网络将能够识别各种道路结构和各种障碍物类型中的自由路面。最终数据集包含 13,000 个训练图像，1,300 张验证图像和 1,300 张测试图像。

图像中自由空间的定位是通过修改后的 OverFeat架构完成的，输入图像特征如上面生成的。该自由空间的定位是通过对图像特征激活后执行大小维度为 1 x 1 卷积来完成的，然后使用类似的全连接层和 softmax 分类得到注意力权重，从而生成0-1之间的概率分布关系值。Softmax计算后，实际上之前较高的得分会被增强，而较低的得分则会被抑制或淹没。也就是说，较高的Softmax会保留模型中认为更加重要的图层，降低的得分则会淹没不相关的图层，将输出向量输出到线性层进行处理，以此来更快更精准的确定环境的类别。应该注意的是，图像特征激活对应体积下的空间维度相对于原始图像尺寸要小一些。因此，在图像特征激活体积的空间维度上执行分类相对于原始图像中的受检测分类所提供的可行驶区域定位会差很多。

为了解决这个问题，在全连接层中使用额外的深度通道来表示图像中的特定位置。例如，最终的softmax激活量空间维度为 20 x 15，其中每个位置代表原始图像中的 32 x 32 像素块。然而，每个空间位置的深度为 128，因为原始图像中每个 32 x 32 像素块内都有 8 x 8 个 4 x 4 像素的块，并且有 2 个类：自由空间和非自由空间。这使得自由空间补丁的定位能够达到更精细的分辨率，同时仍然能够从原始图像的较大补丁中获取上下文信息。

这里介绍的训练网络在检测高速公路环境中的自由路面方面取得了良好的效果。该网络在 Caffe 框架中实现，并进行了一些修改。该网络在单个 Nvidia GeForce GTX TITAN Black GPU 上进行训练。该网络使用在 ImageNet 上训练的 BVLC GoogLeNet 的权重进行初始化，并使用自由空间数据集进行微调。

这些结果是通过在 ImageNet 数据上预训练 GoogLeNet 风格的架构并使用自由空间数据进行微调来实现的。通过相对较少的训练（仅 60,000 次迭代），该网络就能够正确识别自由路面，同时将其他车辆指示为障碍物。该网络还能够区分道路边界和其他道路标记。

该模型采用动量为 0.9 的小批量随机梯度下降进行训练。初始学习率设置为 0.01，每 3200 减少 0.96迭代。最终模型经过 60,000 次迭代训练批量大小为 10，即 46 个 epoch。典型定性测试集的结果如图 4 和 5 所示。

图 4. 红色阴影区域显示图像中该像素块的正确类别的 softmax 分数。该网络成功预测开放路面为空闲空间，同时指示卡车和其余车辆为非空闲空间。
图 5. 红色阴影区域显示图像中该像素块的正确类别的 softmax 分数。该网络成功地将开放路面预测为自由空间。请注意，尽管这两个区域在视觉上非常相似，但两侧的路肩并未标记为空闲。

以上两者测试图像显示，通过学习网络可以非常成功地将道路上的障碍物正确分类为非自由空间。它还成功区分了道路车道和路肩，即使这两个路面在视觉上非常相似。同时，该网络还可以随着车辆沿着道路曲线行驶过程中进行实时跟踪检测。

实际上，通过本文介绍的网络可以知道，局部像素信息不足以区分道路车道和路肩，因此较高级别的特征为了做出这种区分，网络层是必要的。随着其他车辆周围和道路边缘的检测变得更加清晰，网络可以进行定性区分。然而，这些改进并不能通过 F1 指标很好地衡量，因为它们只占用几个像素块。而这些细微的差异被大部分路面和主要包含天空和背景的图像顶部的大量正确分类所掩盖。
在未来的工作中，我们打算在更多不同的条件下收集更多的数据。特别是在城市情况下，涉及更多类型的障碍物，例如行人的语义区分。基于该实验结果，可以将该网络架构将扩展到更复杂的城市情况下的一般自由空间检测。