EOS令牌对于解码器也很重要:显式“结束”令牌允许解码器发出任意长度的序列。解码器将告诉我们何时完成发射令牌:没有“结束”令牌,我们不知道解码器何时与我们交谈并继续发出令牌会产生乱码。
因此,对于给出的示例,我有这个片段 图像字幕 这与机器翻译有关:
# Which sequences are incomplete (didn't reach <end>)? incomplete_inds = [ind for ind, next_word in enumerate(next_word_inds) if next_word != word_map['<end>']] complete_inds = list(set(range(len(next_word_inds))) - set(incomplete_inds))
这里是令牌 <end> 类似于 <EOS> 。这个片段正在寻找 <end> 生成图像标题时的标记。当然,我们想要知道何时停止,并且在训练步骤中预先知道图像的字幕边界的字幕长度。
<end>
<EOS>