4vicii opened this issue 3 months ago · 0 comments
我调用DataCollatorForWholeWordMask，发现返回的结果里只有input_ids和label，缺少了attention_mask和 token_type_ids这两个信息，torch_call方法返回的也只有input_ids和label两个键值对，我发现您的示例代码里，在trainer里传递了一个tokenizer，这是否说明在训练前您还使用了一次tokenizer切词？