对于role提取器,Trigger Distance 是可学习的,还是预先设置的
Closed this issue · 7 comments
对于role提取器,
在这篇文章中,Trigger Distance是相对距离+0/1指示向量,如下图所示:
而在代码中,Trigger Distance 则是可学习的Embedding向量,如下所示:
为什么会产生不一致,以及作者有没有对比过着两种方法?
是可学习的Embedding向量,当时实验是把这个当做一个特征使用,与transformer里面的相对距离向量不一样,transformer里面用的还是绝对距离。
是可学习的Embedding向量,当时实验是把这个当做一个特征使用,与transformer里面的相对距离向量不一样,transformer里面用的还是绝对距离。
谢谢!那有做对比实验么?我比较好奇第一种方法的实验结果
另外,我看到你用到了Conditional Layer Norm,请问有参考文献么,我没有找到。
以及加入 Conditional Layer Norm后效果提升了多少?
谢谢
1.你的意思是说用TRM里面的sin/cos的固定的位置编码?那个当时没有想到,对比实验倒是没做。
2.Conditional Layer Norm 是苏建林自己提出的一种结构,博客地址:https://spaces.ac.cn/archives/7124。Conditional LayerNorm 确实是有一定的提升的,但是很小,只有0.几 具体忘记了
1.你的意思是说用TRM里面的sin/cos的固定的位置编码?那个当时没有想到,对比实验倒是没做。
也不是,就是图中所示的 相对位置编码(红框标出部分):13 12 11 10 ... 3 2 1 0 0 1 2 3 4 5
这个就是代码里面的实现方式,主要想法是红框里面的相对位置表示一个距离特征,这个特征可以被映射到一个可学习的 Embedding 里面,作为特征 concat 到 bert 的输出里面。这个提升算是比较明显 0.5 以上吧
这个就是代码里面的实现方式,主要想法是红框里面的相对位置表示一个距离特征,这个特征可以被映射到一个可学习的 Embedding 里面,作为特征 concat 到 bert 的输出里面。这个提升算是比较明显 0.5 以上吧
明白了,我之前理解的有问题:我以为是直接使用相对距离向量,不经过Embedding层。
谢谢你!