十七、SVR 回归问题的SVM

SVM和决策树一样，可以将模型直接应用到回归问题中；在SVM的分类模型(SVC)中，目标函数和限制条件如下：

在简单的线性回归当中，我们最小化一个正则化的误差函数：

为了得到稀疏解，__二次误差函数__被替换为一个 __ε-不敏感误差函数__（ε-insensitive error function)。

如果预测值h_θ(x⁽ⁱ⁾) 与实际值y⁽ⁱ⁾之间的差小于ε， 这个误差函数给出的误差为0，ε-不敏感误差函数可以写为如下形式：

解释: 如果 |真实值-预测值| 的误差在一个区域内(ε) ，则认为没有误差。即当前预测损失值为0；

在不敏感区域之外，会有一个与误差相关的线性代价：

红色图像 是ε-不敏感误差函数，斜率=正负1；绿色图像 是最小二乘法损失函数，即误差的平方和函数；

---

于是我们最小化正则化的误差函数，写为一般形式：

与SVM中的软间隔一样，通过引入松弛变量的方式，我们可以重新表达最优化问题。

对于每个数据点xⁱ ，我们现在需要两个松弛变量ζ_i≥0 和ζ^_i≥0 ，其中：

ζ_i＞0 对应于 yⁱ > h_θ(x⁽ⁱ⁾) + ε 的数据点；ζ^_i＞0 对应于 yⁱ < h_θ(x⁽ⁱ⁾) - ε 的数据点；目标点位于h_θ(x⁽ⁱ⁾) - ε ≤ yⁱ ≤ h_θ(x⁽ⁱ⁾) + ε 管道内的条件是 ，只要松弛变量不为0即可。

对应的条件变为了：

这样，SVR回归的误差函数就可以写成：

通过几何意义来帮助理解上述概念：

1、预测值 h_θ(x⁽ⁱ⁾)是红色的线，粉红色的区域是由__不敏感误差ε__构成的缓冲区。我们认为当预测值蓝点落在__不敏感误差ε__构成的粉色缓冲区时，没有损失。2、__松弛变量ζ__是预测值到缓冲区域上边界的距离，__松弛变量ζ^__是预测值到缓冲区域下边界的距离。3、我们希望预测值落在缓冲区内部(即上面说的管道)，这样损失为0。4、如果__不敏感误差ε=0__，那么缓冲区就只有 h_θ(x⁽ⁱ⁾)这条红线了，ε=0表示不允许预测存在错误的缓冲区。

加入松弛因子ξ>0，从而我们的目标函数和限制条件变成：

构造拉格朗日函数：

原始函数：

转化为对偶函数：

首先来求优化函数对于w、b、ξ的极小值，通过求导可得：

将w、b、ξ的值带入函数L中，就可以将L转换为只包含β的函数，从而我们可以得到最终的优化目标函数为下面的式子：

__PS：__对于β的求解照样可以使用SMO算法来求解；