关于图4中各官能团的注意力权重的大小（深浅）如何获得

[ABlueCat123]

作者您好！很抱歉再次打扰您了。
我这次想请问一下类似图4的绘制中，我们应该如何获取各个官能团的重要性？例如对于第一个分子的吡啶基官能团的关注度很深，而苯基的关注度却很小。我想知道如何对于任意的分子都获取模型对他们的注意力的大小。
感谢您的回复！祝您生活愉快！

[ZJU-Fangyin]

您好，如上图第三部分所示，提取每个官能团在最后一层self-attention的注意力权重并做归一化，可以获得注意力具体数值。

[ABlueCat123]

您好，如上图第三部分所示，提取每个官能团在最后一层self-attention的注意力权重并做归一化，可以获得注意力具体数值。

作者您好，十分感谢您的回复。
您文中所述的可解释性图（图4）是功能提示增强微调过程时加给各原子的额外权重。不知道我的理解是否正确。
然后，能否请问一下对于不同的下游任务，这个权重图会是一样的吗？以及我在predict.py里面如果强行加入step为functional_prompt的话，得到的权重是否可以解释为这部分结构对下游任务的性质的贡献大小？
我感觉我对这部分内容一直存在疑问，希望您能解惑。谢谢！