代码之家 › 专栏 › 技术社区 › N.Der

为什么SVD应用于线性回归

minimization svd least-squares linear-regression

1

N.Der · 技术社区 · 9 年前

在这些幻灯片上,我无法理解为什么SVD应用于最小二乘法问题?

接下来是这样的:

在这里,我不明白为什么要取残差的导数,而图中的想法是用y的投影来最小化误差吗?

1 回复 | 直到 9 年前

1

0

Pierre G. 9 年前

这是我的简略尝试来解释这一点。。。
第一张幻灯片尚未解释SVD与LS的关系。但它说,只要X是一个“标准”矩阵,就可以用奇异矩阵(只有对角元素不为空)来转换问题,这便于计算。
幻灯片2显示了使用奇异矩阵进行的计算。
幻灯片3给出了解释:最小化r的范数等于最小化RSS的平方(因为x->x*x是x>0的递增函数)。最小化RSS:就像最小化任何“好”函数一样,您对其求导,然后将求导值等于0。