/tanh_quantize

discussion about quantization of tanh function

Primary LanguagePythonApache License 2.0Apache-2.0

quantize accuracy

discussion about quantization of tanh function

本文件主要讨论了分组线性量化来拟合不同非线性函数的可行性,其中:

func exp sigmoid函数的取值范围是[-6,6]

log sqrt函数的取值范围是[0.2,6]

如果需要修改范围和函数,请改下面三行

    input_x = np.linspace(-6,6,256*60)
    def func(x):
        return np.tanh(x)
        #return 1 / (1 + np.sqrt(-x)) # si