嵌入层

嵌入层用来处理分类变量
两个主要优点:
1.视情况升降维
2.发现内在属性

Keras里的简化版嵌入层(Embedding Layer):
Embedding(input_dim, output_dim, input_length)
'input_dim'是词汇表的大小
'output_dim'是嵌入维度(期望单词新维度)
'input_length'是每个输入序列的长度

假定有两句话:
I am her lover
Her valentine is me
可以将这两句话编码为:
[1, 2, 3, 4]
[3, 5, 6, 7]
此时单词表的大小为8(0-7),每句话的长度为4
如果我们想用两个维度来表示每个单词

 这个简易展示的结构正确但是数值是随机的。对于真实的训练情况,会将近义词转化为相似的向量。同时我们也发现每个单词的维度从八维降为二维,节省了存储空间。

猜你喜欢

转载自www.cnblogs.com/hanasaki/p/11815313.html