大三小学期入门课程第四课：感知

 
  
  
   
  
 四个感知世界的核心任务：
 (1)检测：找出物体在环境中的位置
 (2)分类：明确对象是什么
 (3)跟踪：随着时间的推移观察移动物体
 (4)语义分割：将图像中的每个像素与语义类别进行匹配
图像分类器：将图像作为输入，并输出标识该图像的标签或类别的算法。不止可以分辨一个静止物体的类别，还可以分辨一个活动物体的行为，如是在走路，还是跑步。
 (1)计算机接收类似摄像头等成像设备的输入，即捕获图像或捕获一系列图像
 (2)通过预处理发送每个图像，即对图像进行标准化处理，常见的预处理包括调整图像大小或旋转图像，或将图像从一个色彩空间转换为另一个色彩空间。预处理可帮助我们的模型更快地处理和学习图像
 (3)特征提取。特征有助于计算机理解图像。
 (4)特征被输入到分类模型中，使用特征来选择图像类别。
模型是帮助计算机了解图像内容的工具
激光雷达传感器创建环境的点云表征，提供了难以通过摄像头图像获得的信息，如距离和高度。
激光雷达传感器使用光线，尤其是激光来测量与环境中反射该光线的物体之间的距离。激光雷达发射激光脉冲并测量物体将每个激光脉冲反社会传感器所花费的时间。反射需要的时间越长，物体离传感器越远。
机器学习：包括监督学习，半监督学习，无监督学习，强化学习。强化学习允许模型尝试不同的方法来解决问题然后衡量哪种方法最为成功
人工神经网络：是通过数据来学习复杂模型的工具，通过调节这些识别出来的特征的权重来实现任务，首先随机分配权重，然后通过反向传播逆反馈调节
检测和分类：通过CNN来查找图像中的对象位置，然后对其进行分类，经典的体系结构为R-CNN、Fast R-CNN、FasterR-CNN、YOLO、SSD。
跟踪：通过之前帧与当前帧的特征进行匹配，确定位置和速度，确定身份后结合预测算法，一股极下一时间速度与位置。跨帧跟踪目的是避免遮挡干扰
分割依赖于FCNN,保证输入与输出退休昂大小一致，需要先编码器编码，然后再用解码器解码
apollo实现过程
 (1)apollo感知软件栈，对于三维对象检测
 (2)apollo在高精度地图上使用感兴趣区域ROI来重点关注相关对象，并将ROI滤波器应用于点云和图像数据以缩小搜索范围并加快感知
 (3)然后通过检测网络馈送已过滤的点云，输出用于构建围绕对象的三维边界框。
 (4)最后，我们使用检测跟踪关联算法来跨时间步识别单个对象。
 (5)apollo利用高精地图确定前方是否有交通灯，通过摄像机确定是否有交通灯，以及交通灯的状态。如果前方有交通信号灯，则高精度地图会返回灯的位置。
 (6)Apollo使用检测网络对图像中的灯进行定位，然后Apollo从较大的图像中提取交通信号灯。Apollo将裁剪的交通灯图像提供给分类网络以确定灯颜色，如果有许多灯，则系统需要选择哪些灯与其车道相关。
 (7)Apollo使用YOLO网络来检测车道线和动态物体，其中包括车辆、卡车、骑自行车的人和行人。在经过YOLO网络检测后，在线检测模块会并入来自其他传感器的数据，对车道线预测进行调整，车道线最终被并入名为“虚拟车道”的单一数据结构中。
 (8)同样，也通过其他传感器的数据，对YOLO网络所检测到的动态对象进行调整，以获得每个对象的类型、位置、速度和前进方向。虚拟通道和动态对象均被传递到规划与控制模块
 
大三小学期入门课程第四课：感知

猜你喜欢
