ubuntu下面的ipv6设置
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
mnist数据集的ubyte格式是怎么回事?
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
Ajax翻译
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
kaggle里面涉及了UNET记得找文章看一下
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
在自己笔记本上学习下cuda
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
知乎上有人提到了tensorlayer记得有空留意一下。
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
搞清楚什么时候使用什么样的激活函数
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
想办法搞定shell发送邮件
apt install s-nail
dpkg -i heirloom-mailx_14.8.6-1_all.deb
heirloom-mailx_14.8.6-1_all.deb来自[1]
如果出现报错：
mail: cannot send message: Process exited with a non-zero status
调试办法是:
cat /var/log/mail.err
资源下载链接：
[1]http://archive.ubuntu.com/ubuntu/pool/universe/s/s-nail/heirloom-mailx_14.8.6-1_all.deb
[2]https://blog.csdn.net/just_shunjian/article/details/78677054
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
神经网络如何保存已经训练好的中间结果
https://www.jianshu.com/p/b6c9474d294c
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
https://blog.csdn.net/u011550710/article/details/76687152/
悲观锁，行锁，mysql引擎对表锁和行锁的影响
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
能否使用本地IP作为外网IP进行访问。
或者使用台式机IP作为外网IP进行访问。
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
下面这篇文章对BN之类的总结得比较好(找时间阅读)
https://zhuanlan.zhihu.com/p/72589565
＃＃＃＃＃＃＃＃＃＃下面是两本讲python并发的实验书＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
Learning Concurrency in Python: Build highly efficient, robust, and concurrent applications (English Edition)
Mastering Concurrency in Python: Create faster programs using concurrency, asynchronous, multithreading, and parallel programming
github:
https://github.com/PacktPublishing/Mastering-Concurrency-in-Python
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃并发相关的＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
看下IO类型，看下压力测试和QPS以及注意下第三方API接口的测试
看下Netty，NIO以及jmeter(压力测试工具)
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃需要阅读的其他书＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
深度学习:基于Python的理论与实现
卷积神经网络入门到精通
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃blending相关内容＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
https://zhuanlan.zhihu.com/p/64676444
https://zhuanlan.zhihu.com/p/42229791
https://zhuanlan.zhihu.com/p/61705517
https://zhuanlan.zhihu.com/p/53601907
https://zhuanlan.zhihu.com/p/27486736
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃Relu相关＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
Relu有很多变种,注意搞清楚下面过的两个博客:
http://www.cnblogs.com/qw12/p/6294430.html
https://www.cnblogs.com/adong7639/p/9213038.html
Logistic-Sigmoid、Tanh-Sigmoid
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃stacking的内容＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
Stacking在比赛中的应用
https://github.com/ChenglongChen/Kaggle_CrowdFlower
对抗验证目前在kaggle上面主流还是在用于判断分布，但是似乎并没有用来选择合理的训练集。
Stacking系统调研下知乎
https://mlwave.com/kaggle-ensembling-guide/
砍手豪的所有文章和回答都看一遍
FFM在Shark似乎没有 ，可以考虑下实现
https://zhuanlan.zhihu.com/p/26890738
https://zhuanlan.zhihu.com/p/32445437
https://zhuanlan.zhihu.com/p/35847556
https://zhuanlan.zhihu.com/p/43541825
https://zhuanlan.zhihu.com/p/49094829
https://zhuanlan.zhihu.com/p/78682267
https://www.zhihu.com/question/295475618/answer/529896269
https://www.kaggle.com/chenglongchen
据说里面有一个非常好的pipeline
https://zhuanlan.zhihu.com/p/52466058
房价预测中进行stacking
https://zhuanlan.zhihu.com/p/39541752
代码
https://zhuanlan.zhihu.com/p/34904202
回归问题使用stacking
https://www.kaggle.com/arthurtok/introduction-to-ensembling-stacking-in-python
带有代码
https://zhuanlan.zhihu.com/p/32896968
没有代码，但是值得仔细思考图中的效果
http://blog.kaggle.com/2016/12/27/a-kagglers-guide-to-model-stacking-in-practice/
带有代码
https://zhuanlan.zhihu.com/p/58298621
带有代码
https://zhuanlan.zhihu.com/p/25836678
带有代码
https://zhuanlan.zhihu.com/p/29049292
这个说关注公众号会提供代码
https://www.kaggle.com/arthurtok/introduction-to-ensembling-stacking-in-python
stacking含有代码
https://zhuanlan.zhihu.com/p/29418981
这个知乎貌似是上面kaggle代码的翻译
https://github.com/h2oai/h2o-tutorials/tree/master
带有代码
https://zhuanlan.zhihu.com/p/70757784
所以，stacking的本质就是找到各个模型合适的权重。
stacking不适合极小的数据集。
https://mlwave.com/kaggle-ensembling-guide/
官方内容
https://zhuanlan.zhihu.com/p/75584326
介绍了Combo工具，似乎是一种非常好的机器学习模型融合工具
ensemble pipeline包括
Bagging Boosting Stacking Blending，vote, averaging,
还没有找过Blending模型的相关文章。
什么是5-Fold Stacking
stacking提到了OOF方法？？、
https://zhuanlan.zhihu.com/p/41809927
有stacking论文的截图
模型融合（stacking）心得
https://zhuanlan.zhihu.com/p/40693176
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
模型压缩方面，看看能不能以植入为题写一篇文章。
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
研究下VGG的权值共享
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃梯度爆炸消失相关的论文＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
https://blog.csdn.net/qq_38210185/article/details/79376053
http://www.elecfans.com/d/672083.html
https://blog.csdn.net/wangpengfei163/article/details/80534608
https://www.cnblogs.com/pinard/p/6519110.html
https://www.jianshu.com/p/dcec3f07d3b5
https://www.cnblogs.com/liujshi/p/6159007.html
https://blog.csdn.net/lyc_yongcai/article/details/73201446
https://www.jianshu.com/p/4b4701beba92
https://blog.csdn.net/xuanyuansen/article/details/61913886
https://blog.csdn.net/gzj_1101/article/details/79376798
https://blog.csdn.net/u011649885/article/details/75034976
这个链接说，LSTM是RNN的升级版，用来解决梯度爆炸以及梯度消失问题。
https://www.superdatascience.com/recurrent-neural-networks-rnn-the-vanishing-gradient-problem/
这个链接提到了是谁会首先发现了梯度消失的问题。
可以看到，首先发现梯度爆炸的两位作者是：
《Untersuchungen zu dynamischen neuronalen Netzen》-Sepp Hochreiter 德文的，不可下载，所以放弃吧
1.搞清楚RNN为什么会梯度爆炸，为什么会梯度消失
2.LSTM为什么能解决上述两个问题。
3.为什么出来BRNN和BLSTM
4.这里用到的正则项是干嘛的。
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
NLP面试帖
https://mp.weixin.qq.com/s/3fsSkeaTvteU4kuly_IjTQ
深度学习500问:
https://github.com/scutan90/DeepLearning-500-questions
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
CNN的可视化工具visual box
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃其他相关问题＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
dense层
maxpool层
注意，一定要在第六章复现梯度消失与梯度爆炸问题。
sigmoid,softmax,relu
梯度爆炸和L2正则的关系。
两种情况下梯度消失经常出现，
一,是在深层网络中，
二,是采用了不合适的激活函数，比如sigmoid
梯度爆炸一般出现在深层网络和权值初始化值太大的情况下(这个是为什么)
LSTM原理
搞清楚第三章中的神经网络用来回归为什么只有一个节点
图像处理中的CNN的卷积为什么卷积核不需要翻转180°
卷积核矩阵中的参数是怎么确定下来的？
是不是有以下对应关系：
3D张量对应RGB
什么是全局平均池化
keras实现的ＣＮＮ中哪里设置阈值呢？
神经网络蒸馏实验掌握
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃其他备忘＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
https://blog.csdn.net/Sakura55/article/details/81876092
这个最后看
Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures
一些原文:
Learning representations by back-propagating errors
1998《Gradient-Based Learning Applied to Documnet Recognition》
2006《Reducing the Dimensionality of Data with Neural Networks》
2012《ImageNet Classification with Deep Convolutional Neural Networks》
2013.11《Visualizing and Understanding Convolutional Networks》
2013.12《OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks》