RUCAIBox/TextBox

关于保存的checkpoint问题

Closed this issue · 6 comments

Foehnc commented

我设置max_save=1,跑了10个epoch,best出现在epoch 8,但是保存了epoch-8和epoch-10两个文件夹,按照README的说法不是应该只有一个epoch-8吗,并且只有epoch-10文件夹有generation.txt,简单看了下源码即使两个文件夹不也应该每个文件夹都生成一个generation.txt吗?

感谢你的报告
epoch-8是在验证集上最好的存档点,我们暂时没有保存验证集上的生成结果,之后会提供
epoch-10中的generation.txt是最后在测试集上的生成结果,这个文件夹中应该没有存档点,不过这的确会引起歧义

所以我们在最新的pr中修复了这个问题,之后应该只会有一个epoch-8,然后和其同目录下会有一个generation.txt,是测试集的生成结果

Foehnc commented

感谢回复。还想请问下如果一个source对应多个target这种情况TextBox支持吗?

我们支持一对多,详细可以看这个issue #322

Foehnc commented

好的,请问下设置多个target是怎么计算loss的啊?

刚刚引用错了,应该是这个issue #321
对于训练集,需要手动把一对多拆分成多条一对一,然后单独计算loss;对于验证集和测试集,计算生成结果的时候,才需要使用特殊格式的一对多,方便进行BLEU等指标的计算

如果没有问题,我就关闭这个issue了