词汇级词向量

[wangcccchen]

传统Bert模型将中文以单个字进行分割，最后只能得到基于每个字的字向量，想请问Chinese-Bert-wwm的模型输入一个句子时，可以得到词汇级的向量吗？比如：“小明吃了一个苹果”可以得到”小明“、”苹果“等词语的词向量吗？

[ymcui]

不可以。wwm只影响masking过程，输入仍然是以字为单位。
可以将单词中每个字的表示抽取出来进行平均（或者其他形式进行组合）。