Raincleared-Song/sparse_gpu_operator

关于sparsity计算的问题

Opened this issue · 1 comments

LiuChaoMi commented

请问表格中的Average Sparsity怎么计算的？谢谢

Raincleared-Song commented

模型过一个预训练数据集的子集，统计平均每层每个token激活的FFN神经元数量a，FFN中间维度（神经元总数）为b，那么平均稀疏度就是 1-a/b