关于remask token的问题
Opened this issue · 1 comments
akajinchen commented
你好,感谢您出色的工作和开源的代码,我注意到GraphMAE2和GraphMAE在remask token上有所不同,在GraphMAE2中remask token是可学习的嵌入而在GraphMAE中是直接置为0,我想知道这有什么区别吗?
yf-he commented
感谢关注。
是的,你的发现是对的,我们确实在GraphMAE2中尝试了learnable remask token。当时的观察是性能上差距不大,你也可以具体试一试。