文章內容來自，周志華的機器學習。
1.選擇訓練/測試集常用校驗方法：
常用留出法和交叉驗證法。
2.調參方法：
對每個參數選定一個範圍和步長， 例：在[0,0.2]範圍內以0.05為步長。
3.性能度量
性能度量是衡量模型泛化能力的評價標準。
迴歸任務最常用的性能度量是均方誤差(mean squared error)。
分類任務度量：
（按場景不同選擇不同度量方法）
風控場景最關心的度量是： 惡意用戶不被攔截，正常用戶被攔截。(待討論)
3.1錯誤率與精度:
錯誤率：分類錯誤的樣本數佔樣本總數的比例。
精度：分類正確的樣本數佔總樣本比例
3.2.查準率、查全率與F1：
平衡點(BEP)：畫出P-R圖，查出查準率=查全率時的取值,比較那個模型的值大。
差全率和查準率 不常使用，更常用的的是F1度量。
【重要】在一些應用中，對查準率和查全率的重視程度不同，用F1的一般形式Fβ表達出查準率和查全率的不同偏好。
希望在n個二分類混淆矩陣上綜合考察查準率和查全率。
3.3.ROC與AUC
ROC曲線的縱軸是真正例率(True positive Rate)，橫軸是 假正例率（False Positive Rate）
TPR （recall）:正樣本預測為正樣本的概率。
FPR:全體負樣本中預測為正樣本的概率。
precision：預測的正樣本中，是真正正樣本的概率。
(precision/recall 組成的是PR曲線)
ROC曲線繪圖方法：
模型比較：
AUC: 就是ROC曲線下的面積。
誰的auc的面積大誰的性能就好。
3.4.代價敏感錯誤率與代價曲線：
風控系統：把異常用戶分成正常用戶， 把正常用戶分成異常用戶（優先考慮）。
根據不同場景，衡量不同類型錯誤所造成的不同損失，可為錯誤賦予“非均等代價”。
在非均等代價下，roc曲線不能直接反應出學習器的期望總體代價，而代價曲線可達到該目的。
代價曲線（cost curve）的繪製：
4.比較檢驗
對學習器性能進行比較。
閱讀更多 從大數據說起 的文章
