阅读( 330 )次

   评论(0)条

飞龙在天

正则化(避免过拟合)

正则化(避免过拟合)

如何解决过拟合问题:

过拟合问题往往源自过多的特征,通常会考虑两种途径来解决:

a) 减少特征的数量:

-人工的选择保留哪些特征;

-模型选择算法(之后的课程会介绍)

b) 正则化

-保留所有的特征,但是降低未知量的系数值;

-正则化的好处是当特征很多时,每一个特征都会对预测y贡献一份合适的力量。这里主要通过两个方面谈谈正则化问题。

1)对代价函数进行正则化

过拟合

直观来看,如果我们想解决这个例子中的过拟合问题,最好能将x3,x4的影响消除,也就是让θ3 , θ4 劲量趋于0

假设我们对θ3 , θ4 进行惩罚,并且令其很小,一个简单的办法就是给原有的Cost function加上两个略大惩罚项,例如:

这样在最小化Cost function的时候,θ3 , θ4 都趋于0.

正则化:

参数θ1 ,…, θn 取小一点的值,来劲量“简化”的hypothesis,避免出现过拟合;

我们对θi 进行惩罚,也就是正则化:

经过正则化的Cost Function有如下的形式:

其中λ 称为正则化参数.

 

2)线性回归的正则化和逻辑回归的正则化

线性回归的正则化和逻辑回归的正则化的思路和上面都差不多,主要是通过对代价函数进行正则化处理,如

线性回归

逻辑回归

然后利用梯度下降或者是梯度上升算法来求解目标函数。


 收藏 (0)  打赏  点赞 (0)

 ©2017 studyai.com 版权所有

关于我们