量化问题
lxn96 opened this issue · 4 comments
lxn96 commented
你好，量化前后为什么保存的模型大小都是180MB，量化并没有减小模型的大小？
HaloTrouvaille commented
您好，我采用的是模拟量化，即模拟出量化效果，所以模型大小并没有减少。
lxn96 commented
那实际量化应该怎么做呢
HaloTrouvaille commented
您可以利用模拟量化 部署时跑一次前向传播，提取出量化后的参数用于部署
TDIT-haha commented
那就是说保存量化后的参数模型，而不是整个模型是么？