yangheng95/LCF-ATEPC

关于模型的预测的疑问

luozhouyang opened this issue · 2 comments

luozhouyang commented

模型预测的时候，只能获得tokens， 所以训练过程中的一些mask/weight参数无法计算，包括：

  • valid_ids
  • context dynamic mask
  • context dynamic weight

所以，在预测阶段，上述这些参数valid_ids默认全部为1，cdm和cdw默认为0？

另外，因为预测阶段不能预先知道Aspect Term，所以数据也没办法处理成SPC的格式 [CLS] + tokens + [SEP] + aspect + [SEP]，只能处理成默认的输入[CLS] + tokens + [SEP]。这个输入同时送到 Local Context Exractor 和 Global Context Extractor。

这样理解对吗？

yangheng95 commented
  1. 由于一些原因我没有设计预测功能，直接置零会对模型的表现有影响。
  2. 可以通过预测出的aspect term生成CDM和CDW权重向量，但这样要重写新的数据处理代码。分别进行两个步骤，即先禁用APC模块，输入token序列预测aspect，然后使用预测的aspect生成LCF权重进行APC，其中还涉及到其他代码的修改，是一个比较复杂的过程。
  3. 是的，[CLS] + tokens + [SEP] + aspect + [SEP]的输入只能用于极性预测，可以提升极性预测效果。如果要考虑ATE的效果，那就需要使用[CLS] + tokens + [SEP]
luozhouyang commented

好的，谢谢