加入正则化项以后如何同时求得最优正则化系数alpha和多项式的degree？

[foxxiss]

在excecise1中，最后一问”Say now I want you to fix the degree to 10 and still get a model rather close to the best model you get above.“我理解的是，这里是确定了degree求正则化系数alpha最优解对吗？但是在我们不能确认degree是多少的情况下，就不能确定一个degree来求正则化系数的最优解，想问一下这种情况下可以怎么处理呢？

[Hzfinfdu]

我理解你的问题是，在现实的应用场景中，我们无法确定一个模型的degree或正则化系数以求解另一个。我的想法是，我们一般会先确定一个模型的degree（在其他模型中是参数量，事实上Polynomial Linear Regression中的degree也决定了其参数量），再用正则化优化，具体地，我们分两种情况讨论：

在传统机器学习场景下（数据有限，模型大小比较小），我们会选择一个经验上略大于“可以过拟合数据集的参数量”的模型，并通过正则化手段优化，这很接近我们exercise中的情景。

在数据相对丰富的深度学习场景下（尤其是大模型训练中），我们其实并不面临过拟合风险，参数量的选择是受限于拥有的计算资源而决定的。但是有时我们仍然需要比较小的正则化（比如AdamW优化器），我个人猜测这和稳定的训练动力学有关，但我没有确定的结论，欢迎大家一起讨论。