关于valid_ids的疑问

Question

luozhouyang opened this issue 4 years ago · 3 comments

请问valid_ids代表什么呢？我看代码只是起到一个masking的作用。但是看数据处理的逻辑，valid_ids基本上都是1，那么这种情况下它的作用是什么呢？

Answer 1 · 2021-05-10T10:15:43.000Z

Answer 2 · 2021-05-10T10:16:20.000Z

看数据处理的逻辑，因该是在wordpiece分词把单词分成多个piece的情况下，首个piece会设置valid_id为1，后续的piece的valid_id为0。目的是为了只选择第一个piece？

Answer 3 · 2021-05-10T10:16:40.000Z

好的，了解了。多谢～