bojone/attention

不支持mask

Closed this issue · 2 comments

您好,非常感谢您的分享,但是我在调用您的模型时:
embeddings=Embedding(len(vocab),200,mask_zero=True)(inputs)
embeddings = Position_Embedding()(embeddings)
发现以下列错误信息
Layer position__embedding_1 does not support masking,
请问一下该如何解决,十分感谢。

不用mask_zero=True就行了。

更合理的方式是在Attention的时候传入seq_len

seq_len

请问这里传入的seq_len是最大的seq_len还是每个seq的seq_len呢?