关于ATIS中(Liu,2016)的结果
seeledu opened this issue · 3 comments
seeledu commented
你好，请问为什么slot filling 中(Liu,2016)的结果中用得是94.2，而不是Liu论文中的95+
AtmaHou commented
感谢你指出了问题，我的结果是直接使用Slot-Gated Modeling for Joint Slot Filling and Intent Prediction中报的结果。
ATIS数据的版本很乱，从是否做大小写数字预处理或数字预处理，到测试集使用的数据部分，大概有6个左右的版本。
我猜想可能数据版本的差异导致的结果不同，另外(Liu,2016)有提到他们使用额外的ATIS数据，这也可能是结果不同的原因之一。
seeledu commented
同时，(Liu，2016)的论文里面没有跑snip数据集的，用18年的那篇短文复现出来的结果会不会有点不妥。
AtmaHou commented
关于这个问题，我们认真考虑了一下：1.首先18年论文数据和代码公开易于比较，而且他们使用的baseline结果来自同一份数据，结果可比性比较高。2. 我们这边最近有同学复现也得到了类似的结果趋势，结果还是比较有可信性。3. 由于这个leader board只能是做到大致地研究前进脉络把握，我们的结果只能建立在平等地相信所有已正式发表论文的基础上。
所有你指出问题确实很有道理但是，我们打算暂时维持原状。
另外如果你有更可信或者公开的复现结果，欢迎你把结果发给我，我会列在结果列表。
：）