./evalue.py中fact_label的0和1是不是反了?
PPMark0712 opened this issue · 1 comments
PPMark0712 commented
131行开始:
factlabel = 0
if '事实性错误' in prediction or 'factual errors' in prediction:
factlabel = 1
0和1是不是反了?因为后面计算result时,是只看fact_label=1,我的理解是只考虑事实不冲突的数据,不知道是不是我理解反了,麻烦开发者检查一下。
chen700564 commented
这里衡量的是模型output是否识别出了事实性错误(比如模型会生成“出现事实性错误“,此时表示模型识别出了事实性错误,factlabel=1),后面的一些指标是在模型识别出事实性错误的前提下进行衡量的(因此取factlabel=1)