用白話、講原理、做科普。歡迎大家來到深度學習系列第四期，這一期和大家分享一下深度學習中batch歸一化和softmax迴歸。batch歸一化是將內部各層神經元的輸入值進行歸一化處理，softmax迴歸區別於邏輯迴歸，邏輯迴歸是一種二分類算法，softmax迴歸是一種多分類算法。
batch歸一化使得參數搜索問題變得容易，使得神經網絡在選擇超參數方面更具有穩定性，超參數的範圍會更大工作效果會更好。因為對X的歸一化有利於快速下降，所神經元輸入值歸一化也有利於後續權值的訓練和快速收斂。
逐層的batch歸一化使得各層相對獨立，減小了前面各層因為學習對後面的影響。相當於每層都開始了新的輸入，除此之外batch歸一化還有輕微的正則化效果。
batch歸一化計算的是整個min-batch上的均值和方差，但是在測試的時候就需要計算整個測試集上的均值和方差。
softmax迴歸可以在試圖做出某一分類時做出預測，分成幾類就有幾個輸出單元，幾個輸出單元的概率總和是1。 softmax分類器的原理是將輸出以百分比的形式輸出。沒有隱含層的softmax分類器可以實現線性邊界分類，加入隱含層可以實現非線性邊界分類。
softmax分類器的的損失函數是計算輸出的負loge值，要優化該值就需要將輸出調大。
分享到:
閱讀更多 工科派 的文章
