单变量线性回归

符号说明

$m$

m代表训练集中实例数据

$x$

x代表输入特征/输入变量

$y$

y代表目标变量/输出变量

$(x,y)$

(x,y)代表训练集中的实例

$(x_i,y_i)$

(xi​,yi​) 代表第
$i$

i个观测实例

$h$

h代表学习算法解决方案或函数

代价函数

代价函数为

$J(theta_0,theta_1)=frac{1}{2m}sum_{i=1}^{m}(h_theta(x_i)-y_i)^2$

J(θ0​,θ1​)=2m1​i=1∑m​(hθ​(xi​)−yi​)2
直观理解如下：要确定出
$theta_0$

θ0​,
$theta_1$

θ1​及使得

$min J(theta_0,theta_1)$

minJ(θ0​,θ1​)

梯度下降法

$theta_{j}:=theta_{j}-alpha frac{partial}{partial theta_{j}} J(theta)$

θj​:=θj​−α∂θj​∂​J(θ)
对
$theta$

θ赋值，使得代价函数按照梯度下降最快方向进行，一直迭代下去，其中
$alpha$

α为学习率
如果
$alpha$

α很小，需要迭代很多步才能到全局最小，如果很大会跳过局部最优导致无法收敛

梯度下降的线性回归

$frac{partial}{partialtheta_j}J(theta_0,theta_1)=frac{partial}{partialtheta_j}frac{1}{2m}sum_{i=1}^{m}(h_theta(x_i)-y_i)^2$

∂θj​∂​J(θ0​,θ1​)=∂θj​∂​2m1​i=1∑m​(hθ​(xi​)−yi​)2
当
$j=0$

j=0时:
$frac{partial}{partial theta_{0}} Jleft(theta_{0}, theta_{1}right)=frac{1}{m} sum_{i=1}^{m}left(h_{theta}left(x_{i}right)-y_{i}right)$

∂θ0​∂​J(θ0​,θ1​)=m1​i=1∑m​(hθ​(xi​)−yi​)
当
$j=1$

j=1时：
$frac{partial}{partial theta_{1}} Jleft(theta_{0}, theta_{1}right)=frac{1}{m} sum_{i=1}^{m}(left(h_{theta}left(x_{i}right)-y_{i}right)x_i)$

∂θ1​∂​J(θ0​,θ1​)=m1​i=1∑m​((hθ​(xi​)−yi​)xi​)
因此有如下算法：

$begin{aligned} &theta_{0}:=theta_{0}-a frac{1}{m} sum_{i=1}^{m}left(h_{theta}left(x_{i}right)-y_{i}right)\ &theta_{1}:=theta_{1}-a frac{1}{m} sum_{i=1}^{m}left(left(h_{theta}left(x_{i}right)-y_{i}right) cdot x_{i}right) end{aligned}$

​θ0​:=θ0​−am1​i=1∑m​(hθ​(xi​)−yi​)θ1​:=θ1​−am1​i=1∑m​((hθ​(xi​)−yi​)⋅xi​)​
对两个参数
$theta_0$

θ0​与
$theta_1$

θ1​进行更新，多维空间根据上述公式进行扩展即可。

总结

为什么要用梯度下降法，在进行数据量大的情况下，梯度下降法要比正规方程的方程更加适用