fg0521/GenshinBert

1、项目介绍

第一个基于《原神》游戏训练的大型语言模型，我暂且称之为GenshinBert。该模型目前可以理解原神游戏中的常见人名、地名、活动名等基本要素。目前还未在实体识别、文本分类、关系抽取等下游任务中进行finetune，主要还是无法获取到相关的数据集，也希望旅行者们可以加入一起完成这个项目。
所有用于训练的数据均上传，在data文件夹下，希望大佬指导训练模型！权重文件请访问：链接: https://pan.baidu.com/s/1xdum4tZkDIb83e0nKbUyHA 提取码: erbt

2、项目进行

1.基于原神游戏语料的继续预训练。✅

2.下游任务数据集构建。❎

3.基于GenshinBert的下游任务finetune。❎

3、模型对比（第一阶段）

model	sentence
原始句子	翠绿猎人的笃定：猎人曾经随身携带的奇妙仪器，永远指向自己的猎物。
genshin-bert	翠绿猎人的笃定：猎人曾经随身携带的奇妙仪器，永远指向自己的猎物。
bert-wwm-ext	翠绿猎人的决定：猎人曾经随身携带的奇妙仪器，永远指向自己的猎物。
原始句子	申鹤五岁时，母亲因病去世，父亲爱妻情切，难以承受此中苦痛。
genshin-bert	申鹤五岁时，母亲因病去世，父亲爱妻情切，难以承受此中苦痛。
bert-wwm-ext	申[ U N K ]五岁时，母亲因病去世，父亲爱子情切，难以承受此中苦痛。
原始句子	所以，不仅仅是遵守摩拉克斯的神谕，更是为了让璃月港时刻保持活力，璃月七星对所有违反律法的人绝不姑息。
genshin-bert	所以，不仅仅是遵守摩拉克斯的神谕，更是为了让璃月港时刻保持活力，璃月七星对所有违反律法的人绝不姑息。
bert-wwm-ext	所以，不仅仅是遵守克拉克斯的神谕，更是为了让璃月港时刻保持活力，璃月之星对所有违反律法的人绝不姑息。
原始句子	那个坎蒂丝是是真正的赤王后裔。在须弥城的酒馆中，一位狼狈不堪的镀金旅团成员哆嗦着说道。
genshin-bert	那个坎蒂丝是是真正的赤王后裔。在须弥城的酒馆中，一位狼狈不堪的镀金旅团成员哆嗦着说道。
bert-wwm-ext	那个丝蒂丝是是真正的国王后裔。在须弥城的酒馆中，一位狼狈不堪的镀金军团成员哆嗦着说道。
原始句子	一旁的万叶又陷入了回忆。“他曾是我的挚友，那天他向我问起，可曾听说过无想的一刀，我说自然。
genshin-bert	一旁的万叶又陷入了回忆。“他曾是我的朋友，那天他向我问起，可曾听说过无想的一刀，我说自然。
bert-wwm-ext	一旁的万里又陷入了回忆。“他曾是我的朋友，那天他向我问起，可曾听说过无情的一刀，我说自然。
原始句子	璃月的宫司大人其实就是八重神子啦！在八重堂举办的转生成为八重宫司征文活动中，诞生了不少优秀的作品。
genshin-bert	璃月的宫司大人其实就是八重神子啦！在八重堂举办的转生成为八重宫司征文活动中，诞生了不少优秀的作品。
bert-wwm-ext	璃月的宫司大人其实就是转月神社啦！在八重堂举办的转生成为八重宫司征文活动中，诞生了不少优秀的作品。
原始句子	说起来，夜兰你有接任天枢星的想法吗？
genshin-bert	说起来，夜兰你有接任天枢星的想法吗？
bert-wwm-ext	说起来，夜晚你有接任天之星的想法吗？
原始句子	砂糖，拜托我帮他破译一份炼金配方，但这东西太难理解了我。我看不懂。
genshin-bert	砂糖，拜托我帮他破译一份炼金配方，但这东西太难理解了我。我看不懂。
bert-wwm-ext	好糖，拜托我帮他破译一份黄金配方，但这东西太难，解了我。我看不懂。
原始句子	没过多久，一个穿着打扮和他完全不同的人走了出来，觉得那人的气息与知易有些相似，可如果上前确认，一定会被他察觉。
genshin-bert	没过多久，一个穿着打扮和他完全不同的人走了出来，觉得那人的气息与知易有些相似，可如果上前确认，一定会被他察觉。
bert-wwm-ext	没过多久，一个穿着打扮和他完全不同的人走了出来，觉得那人的信息与知己有些相似，可如果上前确认，一定会被人察觉。

4、训练过程

模型采用从米游社获取而来的数据，大约是13w的文本数据，已经经过数据清洗和去重，每条训练语料长度在20-256左右；在2块3090上训练100个epoch。