关于语义特征

[18451627030]

关于您本文末尾提到的未来可能要改进的地方有引入语义特征，我想知道采用哪些语义特征比较好（词向量、tfidf、风格特征），以及怎么将对数特征和加入的特征结合起来，是在卷积之前还是在分类之前将两者结合，可以给我一点建议吗？><

[Jihuai-wpy]

如果能为每个token都抽取到相关的特征，这样就可以类似于perplexity输入一样，放在CNN之前（比如你说的词向量、或者过了某个模型最后一层的hidden state向量等）；但如果是类似于一些统计上的特征，包括风格特征、tfidf等这种，可以在分类之前进行结合，类似于GPT-zero的做法。