ZeweiChu/PyTorch-Course

请问实现luong attn的时候为什么是用context来计算的

Opened this issue · 0 comments

论文中写的是用target的当前hiddenstate和整个Encoder_outputs来计算,但是第七课seq2seq的代码中是这样算的:
context_in = self.linear_in(context.view(batch_size*input_len, -1)).view( batch_size, input_len, -1)
attn = torch.bmm(output, context_in.transpose(1,2))
这里的context是不是应该更换成当前时刻的hiddenstate