Spico197/Mirror

请问下载的resources数据集目录里面merged、all_excluded这两个目录名称代表什么意思？

Opened this issue · 1 comments

tjhwk commented
请问下载的resources数据集目录里面merged、all_excluded这两个目录名称代表什么意思？
Spico197 commented

嗨，感谢您对我们项目的关注，抱歉回复晚了。

  • merged 是Mirror使用的预训练数据
  • all_excluded 表示预训练数据集中不包含下游benchmark的数据（避免数据泄露）
  • 👍1