机器学习中常用的正则化方法包括 L1正则化,L2正则化,弹性网络等。
L1正则化,又称为Lasso正则化,通过在损失函数中增加L1范数惩罚项,使得模型的系数向稀疏化倾斜,即使得一部分系数变为0,从而实现特征选择的效果。
L2正则化,又称为Ridge正则化,通过在损失函数中增加L2范数惩罚项,使得模型的系数向零缩小,从而减小模型的复杂度,防止过拟合。
弹性网络,是L1正则化和L2正则化的结合体,同时拥有L1正则化和L2正则化的优点。
除此之外,还有一些正则化方法,如 Dropout,数据增强等,它们通过随机删除神经元或增加数据样本来减小模型的过拟合风险。