34127chi/albert_zh_sr

效果不太好啊，

Opened this issue · 3 comments

IamHimon commented

在LCQMC，亲测，直接用albert的fine-tuneing ，1 epoch，F1 score=0.84032。直接用你的模型，F1 score=0.80712

34127chi commented

在LCQMC，亲测，直接用albert的fine-tuneing ，1 epoch，F1 score=0.84032。直接用你的模型，F1 score=0.80712

我这边的主要目的是为了对文本进行特征抽取 抽取完特征后再进行计算文本的匹配度 目的是作为语义检索的粗召回模块使用 所以是没有像albert那种attention交互的 效果是比它差些的
具体图结构可以看看这个：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

niu2niu2niu commented

请问有eval_accuracy的对比结果么？比如直接用albert的fine-tuneing ，1 epoch，eval_accuracy是多少，用这个模型是多少？
我自己写的基于albert_zh的Siamese BERT-Networks，eval_accuracy只有0.7，参数使用默认的，同参数下直接用albert_zh在lcqmc上eval_accuracy=0.84。看了一下代码和34127chi的没什么差别啊，但是效果差太多了

duxm commented