ljynlp/W2NER

关于biaffine classifier

jingsongs opened this issue · 2 comments

您好!
论文中用到的 biaffine classifier,公式如下,这里的W[si; oj ]是指什么? 另外代码的具体实现和公式是怎么对应的?

image

    if self.bias_x:
        x = torch.cat((x, torch.ones_like(x[..., :1])), -1)
    if self.bias_y:
        y = torch.cat((y, torch.ones_like(y[..., :1])), -1)
    # [batch_size, n_out, seq_len, seq_len]
    s = torch.einsum('bxi,oij,byj->boxy', x, self.weight, y)

谢谢啦

$S = [X; 1]^\top U' [Y; 1]$,其中 $U' \in \mathbb{R}^{out, in + 1, in + 1}$ -> $S = X^\top U Y + X^\top W + W Y + b$,其中 $U \in \mathbb{R}^{out, in, in}, W \in \mathbb{R}^{out, in}, b \in \mathbb{R}^{in}$
$X$ 对应 { $s_1, \dots s_N$ }, $Y$ 对应 { $o_1, \dots, o_N$ }

大致明白了,谢谢哈