课程截图。
比较感兴趣的点:
- 中国交通数据集:https://github.com/csust7zhangjm/CCTSDB
- 多个任务的CNN
- 下面传统方法分割车道线中的“切割重点区域”如何用OpenCV实现?
- GAN数据增强能否应用于工业界?
交通指示牌识别的难度很大
![14755769-6e9a32382c4c5959.png](https://upload-images.jianshu.io/upload_images/14755769-6e9a32382c4c5959.png)
不常见
![14755769-0f79423ebf9695e0.png](https://upload-images.jianshu.io/upload_images/14755769-0f79423ebf9695e0.png)
image.png
-
常常是多个一起,要求算法逐个识别
image.png -
信息量很大的指示牌
image.png
难点:
- 图像像素低
- 图像光线变化大
- 图像有物体遮挡
- 图像晃动
- 图像由形变(perspective transform)
![14755769-ffbc32a1729c3a10.png](https://upload-images.jianshu.io/upload_images/14755769-ffbc32a1729c3a10.png)
image.png
如何做
![14755769-76e5139c537519a3.png](https://upload-images.jianshu.io/upload_images/14755769-76e5139c537519a3.png)
传统方法
![14755769-85d186bee2062b1b.png](https://upload-images.jianshu.io/upload_images/14755769-85d186bee2062b1b.png)
image.png
用不同尺寸的 窗口去滑动,小波滤波器作为特征提取方式,然后对提取到的区域(RGB)进行LDA变换
![14755769-dcbeb457c3fcc0ea.png](https://upload-images.jianshu.io/upload_images/14755769-dcbeb457c3fcc0ea.png)
image.png
https://ke.qq.com/webcourse/index.html#cid=350394&term_id=100416672&taid=2807439733119162
![14755769-b203143d87a34d6b.png](https://upload-images.jianshu.io/upload_images/14755769-b203143d87a34d6b.png)
image.png
adaboost将多个小波分类器组合起来(弱分类器)
![14755769-1539734208fc3daf.png](https://upload-images.jianshu.io/upload_images/14755769-1539734208fc3daf.png)
image.png
2001年的目标检测算法
![14755769-b26e454bcbac0133.png](https://upload-images.jianshu.io/upload_images/14755769-b26e454bcbac0133.png)
image.png
opencv中的Haar cascade就是这个论文中的算法
![14755769-a15a5790505a8a1d.png](https://upload-images.jianshu.io/upload_images/14755769-a15a5790505a8a1d.png)
LDA变换(简单理解为降维)
![14755769-9362f1e3115916a5.png](https://upload-images.jianshu.io/upload_images/14755769-9362f1e3115916a5.png)
无论交通指示牌多大,都把他降成25维
- 然后使用naive Bayes
![14755769-7d34e59e5f8f0c60.png](https://upload-images.jianshu.io/upload_images/14755769-7d34e59e5f8f0c60.png)
image.png
深度学习的方法
![14755769-5582fa1855da47fc.png](https://upload-images.jianshu.io/upload_images/14755769-5582fa1855da47fc.png)
image.png
- 本文提供了国内指示牌的数据集以及标注
中国的交通指示牌
image.png
数据集的划分很细致
image.png
重要:指示牌的类别不平衡问题以及尺寸差异
![14755769-e9f780bef5e278fa.png](https://upload-images.jianshu.io/upload_images/14755769-e9f780bef5e278fa.png)
image.png
网络架构:
特点: 没有Flatten+FC,而是直接把feature map跟着三个分叉的卷积层(用来做不同的任务)
比如第一个分支获取bbox(左上右下坐标);第二个分支获取像素级分割;第三个分支获取类别。
![14755769-4a94afefb1055a0c.png](https://upload-images.jianshu.io/upload_images/14755769-4a94afefb1055a0c.png)
image.png
![14755769-79c447a15bbf53d8.png](https://upload-images.jianshu.io/upload_images/14755769-79c447a15bbf53d8.png)
ROC曲线
![14755769-2f37517f38adefac.png](https://upload-images.jianshu.io/upload_images/14755769-2f37517f38adefac.png)
算法的鲁棒性(注意有很多牌子进行干扰)。右图为最后一层activation
![14755769-141e35b162393744.png](https://upload-images.jianshu.io/upload_images/14755769-141e35b162393744.png)
算法的鲁棒性
![14755769-d0eb90ab096ef982.png](https://upload-images.jianshu.io/upload_images/14755769-d0eb90ab096ef982.png)
image.png
以上主要涉及交通指示牌的识别
-
另一个案例:YanLeCun大神的,只做识别。 98.97%的准确率
image.png
![14755769-114d650cc05ba2b7.png](https://upload-images.jianshu.io/upload_images/14755769-114d650cc05ba2b7.png)
网络架构。注意下面的分支直接拷贝,类似跳跃
- 本文提到要做数据增强:
从已有的数据产生更多的训练数据
![14755769-626a0bc2c0cf3f76.png](https://upload-images.jianshu.io/upload_images/14755769-626a0bc2c0cf3f76.png)
image.png
案例二:方向盘操作
![14755769-9225b30dcc197cf8.png](https://upload-images.jianshu.io/upload_images/14755769-9225b30dcc197cf8.png)
image.png
![14755769-2e36707606cbdb6f.png](https://upload-images.jianshu.io/upload_images/14755769-2e36707606cbdb6f.png)
通过预测和真实转动角度和方向进行对比
- 难点:
1准确性、实时性、应对不同天气情况
传统的解决方案:
灰度化=》加高斯模糊=》边缘检测=》对边缘二值化=》切割出重点区域
![14755769-b97112ac7effc8d7.png](https://upload-images.jianshu.io/upload_images/14755769-b97112ac7effc8d7.png)
image.png
![14755769-28b16e3d94ba960f.png](https://upload-images.jianshu.io/upload_images/14755769-28b16e3d94ba960f.png)
image.png
![14755769-ed67c4f3306bdcac.png](https://upload-images.jianshu.io/upload_images/14755769-ed67c4f3306bdcac.png)
image.png
深度学习
![14755769-2d414cda7567c57d.png](https://upload-images.jianshu.io/upload_images/14755769-2d414cda7567c57d.png)
深度学习方案
![14755769-8d9320d36c801829.png](https://upload-images.jianshu.io/upload_images/14755769-8d9320d36c801829.png)
image.png