关于pytorch BiLSTM_CRF模型中EMBEDDING_DIM和HIDDEN_DIM的设置
yukangyin97 opened this issue · 1 comments
yukangyin97 commented
我看您在README中提到pytorch版的模型是直接用了pytorch官方提供的BiLSTM_CRF模型,但是官方模型中设置的EMBEDDING_DIM
为tag_to_index的长度,也就是5,HIDDEN_DIM
为4。
我看到一篇博客对这两个参数的讲解是:由于标签一共有B\I\O\START\STOP 5个,所以EMBEDDING_DIM
为5;HIDDEN_DIM
为4,是BiLSTM的隐藏层的特征数量,因为是双向所以是2倍,单向为2。
我看您设置EMBEDDING_DIM
为100,HIDDEN_DIM
为200。
然后我把两组参数在人民日报的数据集上都都跑了一遍,EPOCH
设置的都是30,但是两组的F1
值差的很大:
(按官网例子)EMBEDDING_DIM
为len(tag_to_ix)
,HIDDEN_DIM
为4时,F1
值为55%~60%;
(您的版本)EMBEDDING_DIM
为100,HIDDEN_DIM
为200时,F1
值为80%左右。
想请问一下您,EMBEDDING_DIM
和HIDDEN_DIM
在设置时有没有必须要遵守的规则(例如:EMBEDDING_DIM
必须为所有标签的个数)?
BerryAllen-sense commented
同问