liuxuyao 2022-11-08 15:28
致精进的你:
同学,因为是分情况的哈,在样本内拟合的好R^2高,一般在样本外是偏差较大哈
The real talent is resolute aspirations.
真正的才智是刚毅的志向。
追问12022-11-10 21:37
所以,老师的意思是,在样本外拟合得好会导致bias大。 33题中A指自变量多的模型会有更高的bias error是正确的;但是一般而言自变量多的模型bias低且参数(估计量?)方差大,参数不精确。 这是不是是因为33题中,若是自变量多到overfit的程度,反而会导致样本外拟合增大,反而使得bias增加?
回答2022-11-11 14:40
对的同学,在一个实际系统中,Bias与Variance往往是不能兼得的。如果要降低模型的Bias,就一定程度上会提高模型的Variance,反之亦然。造成这种现象的根本原因是,我们总是希望试图用有限训练样本去估计无限的真实数据。当我们更加相信这些数据的真实性,而忽视对模型的先验知识,就会尽量保证模型在训练样本上的准确度,这样可以减少模型的Bias。但是,这样学习到的模型,很可能会失去一定的泛化能力,从而造成过拟合,降低模型在真实数据上的表现,增加模型的不确定性。相反,如果更加相信我们对于模型的先验知识,在学习模型的过程中对模型增加更多的限制,就可以降低模型的variance,提高模型的稳定性,但也会使模型的Bias增大