bojone/bert4keras

GlobalPointer-- sequence_masking的mask参数问题

liyunhan opened this issue · 0 comments

提问时请尽可能提供如下信息:

基本信息

  • 你使用的操作系统: Linux
  • 你使用的Python版本: 3.6
  • 你使用的Tensorflow版本: 2.2
  • 你使用的Keras版本: 2.3.1
  • 你使用的bert4keras版本:
  • 你使用纯keras还是tf.keras: tf.keras(为了用单机多卡)
  • 你加载的预训练模型:BERT

核心代码

# GlobalPointer模型代码
# 排除padding
        logits = sequence_masking(logits, mask, '-inf', 2)
        logits = sequence_masking(logits, mask, '-inf', 3)

苏神您好,我看到您GlobalPointer的程序中进行了padding mask,这个mask矩阵需要显示的在调用模型时传入,但是我看到您的example中,在调用globalpointer时并没有传入mask矩阵,只是将bert.model.output传入了globalpointer,请问这是为何?mask矩阵是何时传入的呢?由于只能在网上找到您开源的example,于是我对比了大家开源的pytorch版本的代码,但都有显示的传入mask矩阵。