Tikhonov regularization(L2正则化、岭回归)

1,328 阅读1分钟
原文链接: blog.csdn.net

L2正则化也是岭回归的基础。
默认已经掌握最小二乘/线性回归理论。
维基百科原文
岭回归百度百科

对于y=Xw,若X无解或有多个解,称这个问题是病态的。病态问题下,用最小二乘法求解会导致过拟合或欠拟合,用正则化来解决。

设X为m乘n矩阵:

  • 过拟合模型: m <<n ,欠定方程,存在多解的可能性大;
  • 欠拟合模型: m >>n ,超定方程,可能无解,或者有解但准确率很低

这里写图片描述