点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
作者:煎饼果子不要果子 | 源:知乎(已授权转载)
https://zhuanlan.zhihu.com/p/636179209掉在大数据的坑里我们怎么爬出来?
我们有深度!
![a6be20de809a966c7ce6418cf4dff202.jpeg](https://img-blog.csdnimg.cn/img_convert/a6be20de809a966c7ce6418cf4dff202.jpeg)
深度学习七十年
![06e4ddf6959fa719379606be4d0d1558.jpeg](https://img-blog.csdnimg.cn/img_convert/06e4ddf6959fa719379606be4d0d1558.jpeg)
BP 解决非线性异或问题
致敬 1974 Werbos
![c7e4c55d8c82525d50165e8f8f6d0796.jpeg](https://img-blog.csdnimg.cn/img_convert/c7e4c55d8c82525d50165e8f8f6d0796.jpeg)
再发现:Hinton 三巨头提出使用 BP 算法进行表征学习
卷积神经网络雏形 1980 年
再次致敬
![9cb797b4212c0daf92a9116c9deae0e9.jpeg](https://img-blog.csdnimg.cn/img_convert/9cb797b4212c0daf92a9116c9deae0e9.jpeg)
思考:深度学习从哪来?又要到哪里去?
神经网络用极多个神经元连接,模拟小脑计算运作的过程
完全是靠学习和训练吗?纯数据驱动
那先验知识在其中有什么用呢?
创新的道路在哪里?
![e8d7d31a6dc560f2951023ee250ab56d.jpeg](https://img-blog.csdnimg.cn/img_convert/e8d7d31a6dc560f2951023ee250ab56d.jpeg)
黑盒越来越大,怎么解释呢?解释问题、过程还是结果?
![d7c907a6f3a88983b4ab201861ab804d.jpeg](https://img-blog.csdnimg.cn/img_convert/d7c907a6f3a88983b4ab201861ab804d.jpeg)
![31ace826f0aaf025267f3e90ea3e90bd.jpeg](https://img-blog.csdnimg.cn/img_convert/31ace826f0aaf025267f3e90ea3e90bd.jpeg)
1 有哪些深度学习网络体现了这些功能呢
2 再有大数据你就是小样本,嘿,不要被淹死
3 人脑是智慧 高度非线性,局部 BP 是需要的,但全局更不能少
4 sigmoid 毫无这些特性,表征就不好怎么能学好呢
5 剪枝 & NAS 三个性质怎么解释
6 找到正确的优化的解
7 只有感知够吗,认知起了什么作用?推理、决策
![efdf120800eea8f44e3f01709dc7d624.jpeg](https://img-blog.csdnimg.cn/img_convert/efdf120800eea8f44e3f01709dc7d624.jpeg)
三大过程
![c032726dbd396c8d639195e67f5f0361.jpeg](https://img-blog.csdnimg.cn/img_convert/c032726dbd396c8d639195e67f5f0361.jpeg)
Universal Approximation
![d0348c1656414a354e2460930269dd0e.jpeg](https://img-blog.csdnimg.cn/img_convert/d0348c1656414a354e2460930269dd0e.jpeg)
![1d0be6a6db8bbf08365004e71d121fd4.jpeg](https://img-blog.csdnimg.cn/img_convert/1d0be6a6db8bbf08365004e71d121fd4.jpeg)
输入未知,非线性怎么逼近
![beacb81dcd4054164fbc60e632429a78.jpeg](https://img-blog.csdnimg.cn/img_convert/beacb81dcd4054164fbc60e632429a78.jpeg)
表征都没出来怎么去学习特征呢
![7bca2a721bfdd569c39af77e4250b2ab.jpeg](https://img-blog.csdnimg.cn/img_convert/7bca2a721bfdd569c39af77e4250b2ab.jpeg)
表征理论不是单纯累加模型层数
![253728bbacc1544534bc7c6ed019abc0.jpeg](https://img-blog.csdnimg.cn/img_convert/253728bbacc1544534bc7c6ed019abc0.jpeg)
表征是开始,所以很重要
![ad0195fe5b911e25e0670dcd33b751db.jpeg](https://img-blog.csdnimg.cn/img_convert/ad0195fe5b911e25e0670dcd33b751db.jpeg)
模型得匹配对
![c138d543d5209e222a947a766136f3df.jpeg](https://img-blog.csdnimg.cn/img_convert/c138d543d5209e222a947a766136f3df.jpeg)
![c86197b2feaa918c97ad1bb8cb09ff08.jpeg](https://img-blog.csdnimg.cn/img_convert/c86197b2feaa918c97ad1bb8cb09ff08.jpeg)
![e3ec1dcac57913a81c921c8ace33d722.jpeg](https://img-blog.csdnimg.cn/img_convert/e3ec1dcac57913a81c921c8ace33d722.jpeg)
![778a30c1081b162ebfe5143b9e2e1035.jpeg](https://img-blog.csdnimg.cn/img_convert/778a30c1081b162ebfe5143b9e2e1035.jpeg)
![b27ef4571b4a4f7ba06ecd9537e6cd0b.jpeg](https://img-blog.csdnimg.cn/img_convert/b27ef4571b4a4f7ba06ecd9537e6cd0b.jpeg)
![c74907f41060ba7cbd57e346fa058177.jpeg](https://img-blog.csdnimg.cn/img_convert/c74907f41060ba7cbd57e346fa058177.jpeg)
![80d3112c002d86586631d06820ffd500.jpeg](https://img-blog.csdnimg.cn/img_convert/80d3112c002d86586631d06820ffd500.jpeg)
捷径和收敛速度分不开,100 张 V100 能放在火箭上吗
每个变量都是有物理意义的,要作为物理过程计算,brain-inspiring,而不是一个单纯的计算机过程
能量、熵、功率能解释通吗
传统方程探究的时候会研究它们的量纲是否一致,但现在计算机模型做到了吗
![feefd757dd60be7f8e15ab4dc114e326.jpeg](https://img-blog.csdnimg.cn/img_convert/feefd757dd60be7f8e15ab4dc114e326.jpeg)
该页被特别推荐!
![818c523a6cb61d1dfb3c008e97b271e9.jpeg](https://img-blog.csdnimg.cn/img_convert/818c523a6cb61d1dfb3c008e97b271e9.jpeg)
脑科学领域 20 年最新成果,Nature Science,有多少在深度学习模型上体现了
![c9f80e0f974d7598165793bca5513eef.jpeg](https://img-blog.csdnimg.cn/img_convert/c9f80e0f974d7598165793bca5513eef.jpeg)
![6be73d67cb499b4c48f47adb6fad5322.jpeg](https://img-blog.csdnimg.cn/img_convert/6be73d67cb499b4c48f47adb6fad5322.jpeg)
工作1:物理机制结合,Wishart 分布
工作2:对方向奇异性表征探究
![a36369c31c03d9cb3165bd80155b9845.jpeg](https://img-blog.csdnimg.cn/img_convert/a36369c31c03d9cb3165bd80155b9845.jpeg)
工作3: Contourl Net 及其复数域
![3a606be85ded85ca3e377739f08fd218.jpeg](https://img-blog.csdnimg.cn/img_convert/3a606be85ded85ca3e377739f08fd218.jpeg)
![024a0eed13ab81ed2a36559183d7fe0b.jpeg](https://img-blog.csdnimg.cn/img_convert/024a0eed13ab81ed2a36559183d7fe0b.jpeg)
机器学习和物理学的关联 Physical-Informed / Physical-Inspired
从此开始,拍照已经赶不上翻页的速度:
哈密顿量、拉格朗日量、牛顿莱布尼茨公式
![0415a153607ab515c2f966f270ab1a1f.jpeg](https://img-blog.csdnimg.cn/img_convert/0415a153607ab515c2f966f270ab1a1f.jpeg)
物理信息神经网络
电磁学启发
电路启发:基于霍夫定律
![6b019ed07db65300b882f8ee317ca696.jpeg](https://img-blog.csdnimg.cn/img_convert/6b019ed07db65300b882f8ee317ca696.jpeg)
光学神经网络:光电神经网络、全光神经网络
热力学影响
熵原理:求解最优解启示(退火算法)
量子力学:结合了不确定性
![8c3ee1e4486bec105cb7ac7913d66461.jpeg](https://img-blog.csdnimg.cn/img_convert/8c3ee1e4486bec105cb7ac7913d66461.jpeg)
进化角度:群体思想、自然免疫、进化计算
体会:NAS 在免疫和进化有很好的潜力,非常有用
超参数优化问题
元学习问题
![bf29c15aeefce5e494b9595d8ce8f879.jpeg](https://img-blog.csdnimg.cn/img_convert/bf29c15aeefce5e494b9595d8ce8f879.jpeg)
多思考!
中国人任重道远
最新CVPR 2023论文和代码下载
后台回复:CVPR2023,即可下载CVPR 2023论文和代码开源的论文合集
后台回复:Transformer综述,即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码,或者添加微信:CVer333,即可添加CVer小助手微信,便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注:研究方向+地点+学校/公司+昵称(如目标检测或者ransformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群
▲扫码或加微信号: CVer333,进交流群
CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉,已汇集数千人!
▲扫码进星球
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看