A Graph Regularized Deep Neural Network for Unsupervised Image Representation Learning
GR-DNN由一个编码器两个解码器组成,编码器输入入转化为低维码,第一个数据解码器重建原始输入,作者引入了一个图解码器,通过重构来明确强化内部几何结构。
Introduction
为了捕获高级语义和避免学习琐碎的次有函数,正则化DAE保证输入的信息,重构成本加入了正则化项
正则化包括代码的稀疏性,噪声输入的鲁棒性和输入信号的不敏感性。
主要优势
- 提出了一种图正则化的 深度神经网络,以有效的利用具有局部不变的无监督图像表示学习的理论
- 通过可靠地理论分析,引入了深度结构化的图正则化器。与传统的图拉普拉斯正则化器相比,实现了较低的计算复杂度和较好地学习性能
方法
GR-DNN由一个编码器和两个解码器组成,编码器的作用旨在将输入数据降维,data-decoder重构原始输入。作者引进了一个graph-decoder通过重构相似矩阵S强化内部的几何结构。这两个decoder凭借着中间的瓶颈层连接,损失函数是双路径重建误差的加权和。
相比于GR-DNN,denoising DAE和contractive DAE,它们通过强制学习代码的鲁棒性和不敏感性实现捕获输入数据空间的局部流形结构,而GR-DNN在相似图上执行affinity传播直接编码潜在的流形结构,以更准确的捕获几何信息。
实施细节
- Anchor Graph
传统意义上,相似图不能直接应用大规模数据。在GR-DNN中,K-NN 相似矩阵为n个数据样本:[,...,],每一个样本是n维输入数据向量这表明DAE输入和输出层量取决于数据量n,考虑到这一点作者采用了有效地近似的方法用构建AG图来代替。关键是用代表性地锚点去近似图的结构。然后作者在原始数据点{,,...,}和锚点{,,...,}构造K-NN图,结果输入层和输出层的大小被固定为Na.
- 训练
模型训练分为三部分:
- 逐层预训练
- 路径微调
- 联合微调
首先逐层预训练正则化data-DAE和graph-DAE如下图c所示,紧接着分别进行联合微调如下图d所示
为了得到最优方案,作者仅利用了data-DAE编码器作为GR-DNN的编码器。
实验
- 数据集和参数设置
作者采取归一化的像素强度为所有数据输入图像,特别地,验证集用于early stopping,对于所有的自动编码器作者采用的是binary crosstropy 进行重建。
- Parameter Setting
在每层的分层预训练中,每层预训练迭代50次,去噪网络的损坏率为0.2,对于所有的网络SGD批量,学习率通过网格来分别设置为{50,100,200}和{0.001,0.005,0.01,0.05,0.1}。对于GR-DNN,图解码器的输出大小等AG的节点体积。
本篇论文比较简单,建议看代码即可很快就会懂得其中原理。
实验代码: 代码链接(有注释)