请问【cls】与【sep】分隔符可以不需要吗？是有意为之吗

No description provided.

你好，我之前是觉得[cls]与[sep]对确定是否是实体没有影响，所以就没有添加上。不过看了你的提问后，我去翻看了苏神的源码，他里面是有special_token的。我在代码中添加了special_token后确实有1%的提升，所以我更新了代码。如果你有别的数据集的话，也可以进行测试。
具体只需修改以下两处：

GlobalPointer_pytorch/train.py

Line 47 in b9088b2

    
           tokenizer = BertTokenizerFast.from_pretrained(config["bert_path"], add_special_tokens=True, do_lower_case=False)

GlobalPointer_pytorch/evaluate.py

Line 27 in b9088b2

    
           tokenizer = BertTokenizerFast.from_pretrained(config["bert_path"], add_special_tokens=True, do_lower_case=False)

好的，感谢作者大大回复