//本文為作者原創，在同名公眾號和CSDN賬號同步發佈，歡迎大家關注//
用白話、講原理、做科普。歡迎大家來到深度學習系列第二期，這一期和大家分享一下深度學習中偏差和正則化問題。
數據集分割問題：小數據集一般使用 訓練集：驗證集：測試集的比例一般是6：2：2如果，訓練集的大小到達了百萬級別，那麼驗證集和測試集可以小於10%。當訓練集是人為構造的，或者是訓練集和測試集差距較大時，這時候需要驗證集和測試集基本相同。
利用偏差分析模型情況：並不能很好的擬合數據集的情況稱為高偏差，通常是欠擬合。如果訓練集效果果好驗證集效果不好，說明出現了過擬合，那麼說明沒有充分利用交叉驗證集的作用。當訓練集的結果較差，驗證集和結果和訓練集差不多，這是高偏差。如果訓練集效果不好，驗證集效果更差，那麼可能是高偏差和高方差。
正則化解決過擬合：正則化可以減少過擬合的原因是因為正則化過程中使權重減小，這就導致z值減小，所以在sigma函數中z值越小線性越好，線性越好過擬合就越少。過擬合一般是因為非線性太強導致的。需要注意的是畫學習曲線的時候代價函數里也要有正則項。
此外擴增數據集也是一種正則化的方法。L2範數正則化是在代價函數後面添加權值的範數，在dw後也加入了正則化項，使W值越來越小，因此L2範數正則化也稱“權重衰減”。
一種非常使用的正則化方法——dropout隨機失活。該方法的原理是將一部分神經元隨機失活，以達到防止過擬合的效果。需要注意的是失火後會影響相鄰層的神經網絡期望值的改變，所以失火後為使相鄰層的期望值不變，需要對數值做出相應的調整。失活一般應用在容易發生過擬合的那層神經元，該方法在處理視覺問題時經常用到。缺點是隨機失活後模型沒有明確的代價函數，所以不能畫出學習曲線。
early-stopping 也可以起到正則化的效果，是通過繪製訓練集的學習曲線和驗證集的訓練模型，在驗證集取得最低點的時候停止訓練。這種方法與L2範數正則化類似，都是取得較小值，缺點是不能繼續優化函數。early-stopping方法不能在優化代價函數和選擇超參數之間平衡。
閱讀更多 工科派 的文章
