zhougr1993/DeepInterestNetwork

对代码与论文模型图中的几个疑问

Opened this issue · 1 comments

  1. 论文中历史序列在经过attention后,又跟原始历史序列做了product,可是代码里没有体现
  2. 论文中经过attention后又经过了sum pooling然后做的concat,代码里也没有做sum pooling,直接做了concat
  3. attention实现中 out product是用了tf.concat([q, k, q - k, q * k], axis=-1) ,请问为啥这样做啊。

刚刚入门res-sys,疑问可能有点多,希望能帮忙解答一下

  1. 论文中经过attention后又经过了sum pooling然后做的concat,代码里也没有做sum pooling,直接做了concat
    ...

outputs = tf.nn.softmax(outputs) # [B, 1, T]
# Weighted sum
outputs = tf.matmul(outputs, keys) # [B, 1, H]

sum pooling应该指的这里吧,weighted sum