GlobalPointer-- sequence_masking的mask参数问题
liyunhan opened this issue · 0 comments
liyunhan commented
提问时请尽可能提供如下信息:
基本信息
- 你使用的操作系统: Linux
- 你使用的Python版本: 3.6
- 你使用的Tensorflow版本: 2.2
- 你使用的Keras版本: 2.3.1
- 你使用的bert4keras版本:
- 你使用纯keras还是tf.keras: tf.keras(为了用单机多卡)
- 你加载的预训练模型:BERT
核心代码
# GlobalPointer模型代码
# 排除padding
logits = sequence_masking(logits, mask, '-inf', 2)
logits = sequence_masking(logits, mask, '-inf', 3)
苏神您好,我看到您GlobalPointer的程序中进行了padding mask,这个mask矩阵需要显示的在调用模型时传入,但是我看到您的example中,在调用globalpointer时并没有传入mask矩阵,只是将bert.model.output传入了globalpointer,请问这是为何?mask矩阵是何时传入的呢?由于只能在网上找到您开源的example,于是我对比了大家开源的pytorch版本的代码,但都有显示的传入mask矩阵。