從頭開始做深度學習項目，應該注意哪些問題？

模型訓練和視覺評估都提供了進一步的信息來細化我們的標籤選擇。隨著迭代的繼續，我們將學到更多，並逐漸進行樣本積累。我們還需要使用分類器進一步過濾與問題無關的樣本，如清除所有人物過小的圖像等。與學術數據集相比，小型項目收集的樣本很少，在適當情況下可以應用遷移學習。

總結來說，也就是：

• 儘可能使用公共數據集；

• 尋找可以獲取高質量、多樣化樣本的最佳網站；

• 分析錯誤並過濾掉與實際問題無關的樣本；

• 迭代地創建你的樣本；

• 平衡每個類別的樣本數；

• 訓練之前先整理樣本；

• 收集足夠的樣本。如果樣本不夠，應用遷移學習。

第三部分：深度學習設計

第三部分介紹了一些高層次的深度學習策略，接下來我們將詳細介紹最常見的設計選擇，這可能需要一些基本的 DL 背景。

簡單靈活

設計初始要簡單、小巧。在學習階段，人們腦海中會充斥大量很酷的觀念。我們傾向於一次性把所有細節都編碼進來。但這是不現實的，最開始就想要超越頂尖的結果並不實際。從較少網絡層和自定義開始設計，後面再做一些必要的超參數精調方案。這些都需要查證損失函數一直在降低，不要一開始就在較大的模型上浪費時間。

在簡短的 Debug 之後，我們的模型經過 5000 次迭代產生了簡單的結果。但至少該模型所上的顏色開始限制在固定區域內，且膚色也有些顯露出來。

優先性以及增量設計

首先為了創造簡單的設計，我們需要選出優先項。把複雜問題分解成小問題，一步一步解決。做深度學習的正確策略是快速的執行學到的東西。相比於做個要不斷改變的長期計劃，還不如以優先性驅動的計劃。使用更短、更小的設計迭代，從而保證項目可管理性。

避免隨機改進

首先分析自己模型的弱點，而不是隨意地改進，例如用雙向 LSTM 或者 PReLU。我們需要根據可視化模型誤差（表現極差的場景）以及性能參數來確定模型問題。隨意做改進反而適得其反，會成比例的增加訓練成本，而回報極小。

限制

我們把限制應用到網絡設計，從而保證訓練更高效。建立深度學習並不是簡單的把網絡層堆在一起。增加好的限制（constraints）能使得學習更為有效，或者更智能。例如，應用注意機制，能讓網絡知道注意哪裡，在變分自編碼器中，我們訓練隱藏因子使其服從正態分佈。

以下是對深度學習項目的主要步驟的簡單總結：

第四部分：調試深度學習網絡

深度學習的問題解決步驟

在前期開發中，我們會同時遇到多個問題。就像前面提到的，深度學習訓練由數百萬次迭代組成。找到 bug 非常難，且容易崩潰。從簡單開始，漸漸做一些改變。正則化這樣的模型優化可以在代碼 degug 後做。以功能優先的方式檢查模型：

• 把正則化因子設置為 0；

• 不要其他正則化（包括 dropouts);

• 使用默認設置的 Adam 優化器；

• 使用 ReLU;

• 不要數據增強；

• 更少的深度網絡層；

• 擴大輸入數據，但不要非必要預處理；

• 不要在長時間訓練迭代或者大 batch size 上浪費時間。

用小量的訓練數據使模型過擬合是 debug 深度學習的最好方式。如果在數千次迭代內，損失值不下降，進一步 debgug 代碼。準確率超越瞎猜的概念，你就獲得了第一個里程碑。然後對模型做後續的修改：增加網絡層和自定義；開始用完整訓練數據做訓練；通過監控訓練和驗證數據集之間的準確率差別，來增加正則化控制過擬合。

如果卡住了，去掉所有東西，從更小的問題開始上手。