taishan1994/BERT-BILSTM-CRF

大佬，当前模型是否可以增量迭代训练

Opened this issue · 9 comments

TigerShuai commented

目前项目已引入您的模型了，大佬，当前模型是否可以增量迭代训练,😄

taishan1994 commented

是可以的，但需要修改一下代码。

TigerShuai commented

一些

大佬，可以提供下思路或者其他参考资料吗，机器学习我熟悉一些，这个深度学习感觉有点难了.......
万分感谢😄

taishan1994 commented

在训练之前先把训练好的模型权重加载到模型。

TigerShuai commented

在训练之前先把训练好的模型权重加载到模型。

好的，我配合gpt试一试，目前是把您的项目和labelstudio 开源的标注平台通过api对接起来，实现半监督训练ner模型，减少人工标注的工作量

TigerShuai commented

在训练之前先把训练好的模型权重加载到模型。

image
大佬，我查了gpt,他告诉我，保存新的权重使用的新的数据集就是先增量迭代了，如下图所示：
image

按照这个案例的话，我理解没错的话，其实您的代码库本身就是具备增量迭代的功能的哈，self.model.state_dict()里面就是模型权重吧，我直接使用旧模型，用新数据就可以了吧😄

taishan1994 commented

这个只是保存权重，你要重新加载权重继续预训练，使用torch.load

TigerShuai commented

这个只是保存权重，你要重新加载权重继续预训练，使用torch.load

好的好的👍👍👍

TigerShuai commented

这个只是保存权重，你要重新加载权重继续预训练，使用torch.load

好的好的👍👍👍
image
大佬，应该是这样吧，我测试了几轮小样本，感觉很不错，万分感谢，甚至想投个币😄

pangpangbupangwq commented

大佬 @TigerShuai 如何实现和labelstudio 开源的标注平台通过api对接？救命