THUDM/GraphMAE2

关于remask token的问题

Opened this issue · 1 comments

你好,感谢您出色的工作和开源的代码,我注意到GraphMAE2和GraphMAE在remask token上有所不同,在GraphMAE2中remask token是可学习的嵌入而在GraphMAE中是直接置为0,我想知道这有什么区别吗?

感谢关注。

是的,你的发现是对的,我们确实在GraphMAE2中尝试了learnable remask token。当时的观察是性能上差距不大,你也可以具体试一试。