lc222/attention-over-attention-tf-QA

请问一下哪块代码是第二层attention的?

Closed this issue · 4 comments

一层attention和二层attention都在哪?分不清啊
谢谢!!
@lc222

lc222 commented

我觉得你最好先好好看看论文把她的流程看明白。代码里面attention部分一共就不到10行代码,你行一行对应也能看明白的

谢谢!
我怎么感觉就是一层attention啊,我看了论文分不清啊。。

这句可以算是第一层attention吗
M = tf.matmul(h_doc, h_query, adjoint_b=True)
https://github.com/lc222/attention-over-attention-tf-QA/blob/master/model.py#L96
谢谢!

lc222 commented

对,他和他下面一行。我觉得不要去纠结于两层的Attention,看论文里其实是现求一个矩阵,然后再经过一个行列变换,也就是两层Attention。这样去看代码应该会清楚一些