thuml/iTransformer

位置编码

Closed this issue · 2 comments

YEKAI-2022 commented

你好，为什么在这篇论文中没有使用位置编码，而是说明位置编码被隐式存储在FFN中，可以解释一下吗？期待你的答复，谢谢

WenWeiTHU commented

感谢您的关注，基于FFN建模时间点关联可以结合自回归模型（AR）理解，时间点的滞后期和参数权重的位置是绑定的。然而，如果时间维度用Transformer建模，不加入位置编码时，模型对输入的Temporal Token是Permutation-invariant的

image
YEKAI-2022 commented

感谢您的关注，基于FFN建模时间点关联可以结合自回归模型（AR）理解，时间点的滞后期和参数权重的位置是绑定的。然而，如果时间维度用Transformer建模，不加入位置编码时，模型对输入的Temporal Token是Permutation-invariant的

image

感谢您的回复