LSTM模型后增加Dense全连接层的作用是什么?
(Dense就是常用的全连接层)
self.dense = torch.nn.Sequential(
nn.Linear(hidden_dim, 1024),
nn.ReLU(), #nn.Tanh()
nn.Linear(1024, 512),
nn.ReLU(), #nn.Tanh()
nn.Linear(512, 128),
nn.ReLU(),
)
LSTM主要用于处理变长序列,就是说输入的长度是可变的。而全连接层的输入长度是固定的。
by 永仁永仁
LSTM用于特征提取,FC用于分类。FC的作用是连接特征值跟loss function。除了FC,也可以考虑SVM进行分类。用FC的目的主要是考虑back propgation的连续性。
by 咸菜坛子
lstm和cnn都是部分连接共享参数,全连接是全部连接。