PatientEz/keras-attention-mechanism

老师好,请教关于LSTM注意力机制的问题

zhangshuyun88 opened this issue · 0 comments

老师好,我是一名研究生三年级的在校生,最近有幸阅读到您在github上面关于LSTM和注意力机制的文章(https://github.com/PatientEz/keras-attention-mechanism#dense-layer)。有个疑问想向您请教。主要是关于LSTM后面使用注意力机制后,要观察如何抓到维度的注意力机制的问题,我举个例子:
有个数据维度是(1000,20,30) 20个时间步,30个维度的。
经过LSTM层后,假设设置的隐藏层数是32,那么经过LSTM,维度就会变成(20,32)了,这个时候再输入您的注意力机制层,提取出来的维度注意力概率的就会变成32维,而不再是输入时候的30维了,请问遇到这种现象怎么处理呢?
盼望得到您的指导和解答,不胜感激!
张书韵(2539410860@qq.com
2020年12月14日