模型评估中的偏差与方差权衡

模型误差可拆成偏差、方差和噪声。偏差高说明模型假设太简单，系统性偏离真实规律；方差高说明模型对训练数据太敏感，换一批数据结果就大幅波动。

复杂模型偏差低但方差高，简单模型方差低但偏差高。调参和选模型，本质是在两者之间找平衡点，让验证集误差最小。

增加数据能降低方差，增加有效特征能降低偏差。正则化则通过限制模型复杂度来压低方差，代价是可能引入一点偏差。

理解这个权衡，能帮助判断问题方向。验证集误差高且训练集也高，偏欠拟合；训练集很好验证集差，偏过拟合。对症下药才有效。