对线性回归优化：正规方程、梯度下降
学习任务
使用正规方程对损失函数优化的过程
使用梯度下降法对损失函数优化的过程
优化方法
正规方程
正规方程,一次就可以求得最合适的值
理解：X为特征矩阵，y为目标值矩阵。直接求得最好的结果
缺点：当特征值过多复杂时，求解速度太慢并且得不到结果。
正规方程推导过程
梯度下降
梯度是微积分中一个很重要的概念，在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率;在多变量函数中，梯度是一一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向;
这也就说明了为什么我们需要千方百计的求取梯度!我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向
就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的反方向一直走，就能走到局部的最低点!
梯度下降公式
两者的对比
如何选择
小规模数据
·正规方程：LinearRegression（不能解决拟合问题）
·岭回归
大规模数据
·梯度下降法：SGDRegressor