关于跨维度阶段的注意力

[zixuanxuanxuanxuan]

您好，感谢您的工作，你的工作做得很棒，但是我还是有一些疑问，在跨维度注意力是，假如是ETTh数据集，是7维变量，在跨维度阶段，是一天时间序列的每个seg和其他的时间序列的同一时间点的seg做注意力吗？

[YunhaoZhang-Mars]

是的，你的理解是正确的。如果我们把embeding后的时间序列看做一个二维阵列，其中横轴表示时间轴，纵轴表示维度轴。Cross-Time Stage就是沿横轴做attention，Cross-Dimension Stage则是沿纵轴做attention。另外为了处理维度过高的情况，在Cross-Dimension Stage我们提出了router mechanism来降低复杂度。