关于逼近任意1-Lipschitz函数
leenas233 opened this issue · 4 comments
leenas233 commented
作者您好，我想请教一下论文中的第四部分Theoretical Properties of L∞-dist Nets。
请问对L_inf_dist net网络可以逼近任何1-Lipschitz函数的证明有相关的代码吗？谢谢！
zbh2047 commented
你好，我好像没太理解哎，这个是数学证明，和代码没关系吧
leenas233 commented
您好，这一点我了解了。
我有一个新问题：我想用python实现自定义的张量算子，就是您论文中的这个无穷范数神经元的这个算子，但是我不是数学专业且数学不太好，不知道如何对无穷范数求梯度，即求||x-w||_inf + b 对w的梯度。网上没有找到相应的求梯度方法，请问这个梯度该如何求解呢？谢谢您！
zbh2047 commented
求||x-w||_inf + b 对w的梯度，需要找一个下标i使得||x-w||_inf = |x_i-w_i|。那w的梯度等于sgn(w_i-x_i)*e_i，其中sgn是符号函数，e_i是单位向量，第i个位置值为1，其他位置值为0。如果有多个下标i同时取最大值，就随便取一个满足要求的i即可。
leenas233 commented
明白了，十分感谢！