ljynlp/W2NER

关于数据的最终F1值

Opened this issue · 13 comments

MWXGOD commented

我是刚刚接触这个领域的新生，有点疑惑：
1、我使用您之前提问中给到的数据集，一个link链接，conll03，我跑出来的结果是entity_f1=92.97，和您论文中的结果93.07稍有差距，请问这个情况合理吗？我该怎么才能复现您的结果？
2、我自己也搜集了数据集，通过您的代码之后，entity_f1和labels_f1差距较大，但是entity_f1比较高，是不是因为数据集中的类别分布不均衡问题，比如train中没有或者有极少“LOC”类别，那他对应的f1就是0，此时dev中有”LOC“的话，就会导致dev的两个f1值稍低，我不知道理解的是否正确，请指教！
问题可能有些简单和基础，希望您可以教导一下，在此万分感谢

MWXGOD commented

还有个问题，grid_mask2d一直都全部是True是嘛，他的作用是不是：1、生成了reg_emb。2训练的时候吧labels和output变成一维。

JeremySun1224 commented

还有个问题，grid_mask2d一直都全部是True是嘛，他的作用是不是：1、生成了reg_emb。2训练的时候吧labels和output变成一维。

grid_mask2d = fill(grid_mask2d, mask2d_mat)

swaggy66 commented

我是刚刚接触这个领域的新生，有点疑惑： 1、我使用您之前提问中给到的数据集，一个link链接，conll03，我跑出来的结果是entity_f1=92.97，和您论文中的结果93.07稍有差距，请问这个情况合理吗？我该怎么才能复现您的结果？ 2、我自己也搜集了数据集，通过您的代码之后，entity_f1和labels_f1差距较大，但是entity_f1比较高，是不是因为数据集中的类别分布不均衡问题，比如train中没有或者有极少“LOC”类别，那他对应的f1就是0，此时dev中有”LOC“的话，就会导致dev的两个f1值稍低，我不知道理解的是否正确，请指教！ 问题可能有些简单和基础，希望您可以教导一下，在此万分感谢

你跑conll要多久？怎么差不多一小时呢？

swaggy66 commented
MWXGOD commented

大概40多分钟把，用的3090

swaggy66 commented

我跑出来的结果是entity_f1=92.97，和您论文中的结果93.07稍有差距，请问这个情况合理吗？我该怎么才能复现您的结果？
2、我自己也搜集了数据集，通过您的代码之后，entity_f1和labels_f1差距较大，但是entity_f1比较高，是不是因为数据集中的类别分布不均衡问题，比如train中没有或者有极少“LOC”类别，那他对应的f1就是0，此时dev中有”LOC“的话，就会导致dev的两个f1值稍低，我不知道理解的是否正确，请指教！
问题可能有些简单和基础，希望您可以教导一下，在此万分感谢

我最近也在做ner，能一起合作吗

swaggy66 commented
Shaun-Wong commented

你好 我也是刚刚接触该领域 能交流一下嘛

  • 👍1
swaggy66 commented
swaggy66 commented
swaggy66 commented
MWXGOD commented

你好 我也是刚刚接触该领域 能交流一下嘛

可以，加v？

swaggy66 commented