我在做一个能产生记忆的项目。我的模型有问题。

我的问题是,如何确保我的模型使用loss函数生成有意义的句子?

项目目标

为单词列表生成助记符。给定一个用户想要记住的单词列表,该模型将输出一个有意义的、简单易记的句子,该句子将用户想要记住的单词的前两个字母封装在要生成的助记符单词中。我的模型将只接收用户想要记住的单词的前两个字母,因为它携带了生成助记符所需的所有信息。

数据集

im使用kaggles 55000+歌曲歌词数据,这些歌词中的句子包含5到10个单词,我想生成的助记符也包含相同数量的单词。

输入/输出预处理。

在去掉标点符号和数字,从一个句子中的每个单词中提取前两个字母,并从一个预定义的字典中为这两个字母指定一个唯一的数字(其中包含一对键、一个键和一个唯一的数字作为值)之后,我将遍历所有的句子。 作为输入时指定的这些唯一数字的列表,这些单词的手套向量将作为输出。在每个时间步骤中,lstm模型都将获取分配给这些单词的唯一数字,并输出相应单词的手套向量。

模型体系结构

我在用10个时间步的LSTM。 在每一个时间步,与一对字母相关联的唯一数字将被输入,输出将是相应单词的手套向量。

optimizer=rmsprop(lr=0.0008)
model=Sequential()
model.add(Embedding(input_dim=733,output_dim=40,input_length=12))
model.add(Bidirectional(LSTM(250,return_sequences=True,activation='relu'),merge_mode='concat'))
Dropout(0.4)

model.add(Bidirectional(LSTM(350,return_sequences=True,activation='relu'),merge_mode='concat'))
Dropout(0.4)
model.add(TimeDistributed(Dense(332, activation='tanh')))
model.compile(loss='cosine_proximity',optimizer=optimizer,metrics=['acc'])

结果:

我的模型是输出与输入中每个单词的前两个字母相匹配的助记符。但是,所产生的助记符没有什么意义。 我意识到这个问题是由我的训练方式引起的。从单词中提取字母的顺序已经准备好形成句子了。但这在测试时是不一样的。我输入单词的字母摘录的顺序可能不太可能构成句子。 因此,我为我的数据构建了一个bigram,并将具有最高造句概率的排列输入到我的记忆生成器模型中。虽然有一些改进,但整个句子没有任何意义。 我被困在这一点上。

输入

输出

我的问题是,

如何确保我的模型生成有意义的句子?使用损失函数