thunlp/CAIL

可以直接提交结果文件吗？

Closed this issue · 8 comments

yuconan commented

可以直接提交结果文件吗？线下自己跑出来结果上传检测不是更方便大家吗

yuconan commented

弄这么麻烦，是鼓励大家参赛吗？感觉这样搞最后做的人不多

Tswings commented

测试集有结果的， 你直接提交结果文件有啥意义

xcjthu commented

你好，是这样的，现在公布的数据只是作为任务示例，我们会在近期公布第二批大数据（170W）的数据用于训练。
如果将测试集公布，选手可以通过网络搜索等方式获得答案，起不到智能挑战赛的目的了

yuconan commented

复赛前10名，提交代码，复现结果也很好呀，这样可以减轻你们人工验证的工作量

xcjthu commented

主要是考虑到数据的特殊性，是真实的案件，所以我们考虑使用统一的评测环境进行评测，请理解

yuconan commented

好吧，虽然没理解你们所说的“同一的评测环境”是什么意思，但尊重你们的方式

HarryDM commented

170W数据按照说明是否有人员限制？我们刚发现这个比赛，不知道会不会被卡掉。麻烦说明一下，什么情况下会被刷掉呀。谢谢

xcjthu commented

我们是根据队伍进行下发数据，只要在6.5号前（可能会有延期）提交代码，超过这一部分的baseline中的任何一项成绩，就可以获得170W数据