sonme questions
qixiaonan1 opened this issue · 3 comments
您好，针对之前提出的问题，我仍有一些疑问，首先，对您的文章中首先第一步应该是进行初始化向量，是采用BERT模型进行初始化向量，那具体是怎么获得实体和关系的embedding呢，是将之前的文本描述内容输出BERT得到向量就得到了实体和关系的embedding吗，那为什么一定要使用这个实体描述呢
其次，针对您的模型中， 在上下文子图采样环节，最终以序列的形式输入模型中，在图示中我注意到这个序列是一个一维的，那如果一个实体对应不同的关系，一维的这个序列不久只能表示一条线上的吗，另外这一部分还提到了A，如果我没有理解错误的话，您这个A相当于是一个实体-关系矩阵，反应是否有关系，但是这部分内容是怎样使用的呢，序列输入Transformer，矩阵是用在结构增强的部分吗，其三，在结构增强部分中出现的偏转，具体是指什么呢，为什么要有偏转，又有何意义，出现的fstructure是指什么，希望您能详细讲述一下这个偏转具体是什么含义，我没看懂呜呜呜，不好意思问题有些多，是最近在整理论文的时候发现还有些地方没看懂抱歉，希望收到您的详细回答呜呜呜
不好意思， 我还想问一下，关于上下文损失的损失函数为什么这样写，还有掩码知识建模的损失函数中，多头注意力机制的输出h指的是什么呜呜呜，这两个公式不太懂
您好呀！
关于第一个问题，使用文本做初始化是因为我们发现这样模型更好收敛呀。关于初始化的方法，其实是先扩展词表之后让模型去预测每个实体本身的描述，这样能够使图谱里面的每个节点会有一个比较好的初始化特征。
在第二个问题中，子图转换之后的序列是确实是一维的，所以如果直接放到Transformer就损失了结构的信息。因此，这篇论文把子图所包含的结构信息构建了一个邻接矩阵。这个邻接矩阵会作为自注意的偏置项放到Transformer的计算过程中。
您可以加我的微信 bizhen_zju 有不清楚的地方后续会给您解答