文章内容来自，周志华的机器学习。
1.选择训练/测试集常用校验方法：
常用留出法和交叉验证法。
2.调参方法：
对每个参数选定一个范围和步长， 例：在[0,0.2]范围内以0.05为步长。
3.性能度量
性能度量是衡量模型泛化能力的评价标准。
回归任务最常用的性能度量是均方误差(mean squared error)。
分类任务度量：
（按场景不同选择不同度量方法）
风控场景最关心的度量是： 恶意用户不被拦截，正常用户被拦截。(待讨论)
3.1错误率与精度:
错误率：分类错误的样本数占样本总数的比例。
精度：分类正确的样本数占总样本比例
3.2.查准率、查全率与F1：
平衡点(BEP)：画出P-R图，查出查准率=查全率时的取值,比较那个模型的值大。
差全率和查准率 不常使用，更常用的的是F1度量。
【重要】在一些应用中，对查准率和查全率的重视程度不同，用F1的一般形式Fβ表达出查准率和查全率的不同偏好。
希望在n个二分类混淆矩阵上综合考察查准率和查全率。
3.3.ROC与AUC
ROC曲线的纵轴是真正例率(True positive Rate)，横轴是 假正例率（False Positive Rate）
TPR （recall）:正样本预测为正样本的概率。
FPR:全体负样本中预测为正样本的概率。
precision：预测的正样本中，是真正正样本的概率。
(precision/recall 组成的是PR曲线)
ROC曲线绘图方法：
模型比较：
AUC: 就是ROC曲线下的面积。
谁的auc的面积大谁的性能就好。
3.4.代价敏感错误率与代价曲线：
风控系统：把异常用户分成正常用户， 把正常用户分成异常用户（优先考虑）。
根据不同场景，衡量不同类型错误所造成的不同损失，可为错误赋予“非均等代价”。
在非均等代价下，roc曲线不能直接反应出学习器的期望总体代价，而代价曲线可达到该目的。
代价曲线（cost curve）的绘制：
4.比较检验
对学习器性能进行比较。
閱讀更多 從大數據說起 的文章
