我们退后一步问 为什么 我们传统上用n-gram表示文本。 N-gram试图捕获有趣的搭配,即组合在一起的单词,例如作为二重奏的“白宫”可能比仅知道句子中包含“白色”和“众议院”这些词语更有趣。
使用n-gram的缺点是稀疏性增加 - 许多搭配的频率很低。我们可能会在预测时遇到前所未有的搭配。
对于深度学习,我们可以使用诸如LSTM之类的RNN通过单词序列捕获搭配和用语言编码的有趣信息。
因此,处理深度学习的文本输入的典型方法是文本的Word2Vec编码,例如,在其上面的LSTM(或者更加花哨的BiLSTM)。